数据湖（五）：Hudi与Hive集成

文章目录

Hudi与Hive集成

一、配置HiveServer2

1、在Hive服务端配置hive-site.xml

2、在每台Hadoop 节点配置core-site.xml,记得发送到所有节点

3、重启HDFS ，Hive ，在Hive服务端启动Metastore 和 HiveServer2服务

4、在客户端通过beeline连接Hive

二、代码层面集成Hudi与Hive

1、COW模式-SparkSQL代码写入Hudi同时映射Hive表

2、MOR模式-SparkSQL代码写入Hudi同时映射Hive表

三、手动层面集成Hudi与Hive

四、​​​​​​​​​​​​​​SparkSQL操作映射的Hive表

---

Hudi与Hive集成

一、​​​​​​​配置HiveServer2

Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。

1、在Hive服务端配置hive-site.xml

#在Hive 服务端 $HIVE_HOME/conf/hive-site.xml中配置：

<