司马班如

当我们在Flink使用Catalog的时候，如何启用不同groupId的消费着消费Kafka数据呢，本文带你详细了解，Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的

在建表的时候，需要获取表名和字段，有两种方式，自己写正则表达式获取，或者调用现成的库，自己造轮子有点复杂，于是打算寻找有没有开源的库，找了很久后，终于找到了一个开源的jsqlparser，这个开源的库可以获取sql语句所有的信息，包括表名和字段，它的用法是Statement stmt = CCJSqlParserUtil.parse(sql)，Statement是一个接口，它根据sql语句可以转化成不同的实现类，如下：不同sql语句对应的操作类型都可以被格式化成对应的实现类，如果sql语句有误的时候，C

Hive输入导入导出操作一、导入操作1.1 向表中加载数据（load data）1.2 通过查询语句向表中插入数据（Insert）1.3 查询语句中创建表并加载数据（As Select）1.4 创建表时通过Location指定加载数据路径1.5 Import数据到指定Hive表中二、导出数据操作2.1 Insert导出2.2 把数据文件导出到本地2.3 Hive Shell 命令导出2.4 Export导出到HDFS上Hive表导入导出数据有很多种，分别如下所示：一、导入操作1.1 向表中加载数据（l

原生Hive的启动和停止详解一、Hive启动命令二、命令详解讲解原生的Hive没有提供启动的脚本，需要调用命令来启动和停止，启动用nohup结合hive命令来启动，启动Hive的时候，需要把metastore和hiveserver2一起启动，分别来讲解一、Hive启动命令nohup hive --service metastore > /tmp/hivemetastore.log 2>&1 &nohup hive --service hiveserver2 > /

Hive自定义UDF函数详解一、UDF概述二、UDF种类三、如何自定义UDF四、自定义实现UDF和UDTF4.1 需求4.2 项目pom文件4.3 Hive建表测试及数据4.4 UDF函数编写4.5 UDTF函数编写一、UDF概述UDF全称：User-Defined Functions，即用户自定义函数，在Hive SQL编译成MapReduce任务时，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。二、UDF种类UDF：操作单个数据行，产生单个数据行；UDAF：操作

CDH Hive行级更新操作--实现update和delete一、问题出现原因二、CDH详细操作配置2.1 hive --> 配置 --> 搜索 hive-site2.2 修改服务的和客户端的配置一、问题出现原因在Hive表执行update和delete操作时，报如下错误：FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does no

Hive Create Table和Load DATA详解一、Hive Create Table详细讲解二、LOAD DATA 测试使用三、内部表和外部表区别Hive在使用创建表的时候，有有一系列的语法，在官网上都有介绍，这里讲解一些重要和常用的语法，在Hive创建好表后，一般是从HDFS LOAD DATA到表中。分别对这两部分进行讲解。一、Hive Create Table详细讲解Hive在创建表的时候一般有几个比较重要的参数，分别为：分区、行格式化、文件存储类型、文件位置，这里以一条简单的语句来