kafka需要zookeeper支撑,所以先使用命令:zkServer.sh start 启动zk集群
然后使用命令:kafka-server-start.sh -daemon /soft/kafka/config/server.properties 启动kafka集群
各节点进程如下:
创建名称为calllog的topic:
flume三大部分:source(源头)、channel(渠道)、sink(流向的意思),就是source收集数据可以是文件、文件夹等等,将数据存储到channel,再把数据发送到sink指向的地方可以是kafka、hbase等等
使用flume监听calllog.log的数据生成,并将新产生的数据发送到kafka集群,
首先编写calllog.conf文件:
指定相关信息。
启动flume:flume-ng agent -f /soft/flume/conf/calllog.conf -n a1 &
启动kafka消费者:测试是否连接成功:kafka-console-consumer.sh --zookeeper s128:2181 --topic calllog
运行calllog.sh命令生成数据:
在kafka消费者手机到数据:
测试成功