Flume整合kafka与hive,达到hive消费kafka中的数据的步骤:
1.hive建表
2.配置flume(可以参考官网配置flume)
3.启动hive前要设置hive.txn.manager:
第一种方式:脚本命令
set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
第二种方式:配置文件(hive-site.xml)
<property>
<name>hive.txn.manager</name>
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
4.依次启动hive、flume
5.创建topic
6.启动kafka生产者生产消息即可。