使用Flume将Kafka中的数据导入Hive

最新推荐文章于 2024-07-24 10:08:06 发布

筱筱汀

最新推荐文章于 2024-07-24 10:08:06 发布

阅读量4.5k

点赞数 2

分类专栏：大数据文章标签：大数据 kafka hive flume

本文链接：https://blog.csdn.net/liexuanwo7443/article/details/88304559

版权

本文详细介绍了如何使用Flume将Kafka中的JSON数据导入到Hive表中，包括需求背景、环境搭建、配置Hive和Flume Agent，以及运行过程。强调了仔细阅读Flume官方文档的重要性，并提供了关键配置示例。

摘要由CSDN通过智能技术生成

0x01 需求背景

将Kafka中的JSON数据持久化存储到Hive表中，以供后期有查找的需求。

（看了很多讲解的博文，出了各种bug！饶了很多弯路！总结出来的经验就是一定要仔细看Flume的官方文档！！！！！！）

Kafka中的数据示例：

>{"id":1,"name":"snowty","age":25}

Hive表示例：

hive> desc hivetable;
OK
id                  	int                 	                    
name                	string              	                    
age                 	int                 	                    
Time taken: 0.162 seconds, Fetched: 3 row(s)

0x02 环境搭建

参考：kafka、hive、flume环境搭建

0x03 Kafka2Hive

1、hive配置

建表时要进行分桶、赋予事务性，需要对hive进行配置

修改hive-site.xml文件：

<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
    <description>
      Set to org.apache.hadoop.hive.ql.lockmgr.DbTxnManager as part of turning on Hive
      transactions, which also requires appropriate settings for hive.compactor.initiator.on,
      hive.compactor.worker.threads, hive.support.concurrency (true),
      and hive.exec.d