log数据导入kudu步骤
1.新建topic
命令:kafka-topics --zookeeper cluster2-4:2181/kafka --create -replication-factor 1 --partitions 3 --topic test
2.修改配置文件
路径:cd /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/flume-ng/conf
-rw-r–r-- 1 root root 1052 7月 13 18:24 flume-kafka.conf flume – kafka配置文件
需要修改:1.log路径
2.topic名称
-rw-r–r-- 1 root root 888 7月 13 18:25 flume-kudu.conf kafka – flume – kudu配置文件
需要修改:1.topic名称
2.新建kudu表格
3.启动进程
flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-kafka.conf -Xms256m -Xmx1024m
flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-kudu.conf -Xms1024m -Xmx2048m