Hadoop kafka 配置示例

--查找zookeeper 和 kafka位置
find / -name '*zookeeper-server-start.sh*' 
find / -name '*kafka-server-start.sh*' 

启动zookeeper

sudo /usr/lib/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka

sudo /usr/lib/kafka/bin/kafka-server-start.sh config/server.properties &

--创建主题
kafka-topics --create   --zookeeper localhost:2181   --replication-factor 1   --partitions 1   --topic weblogs
kafka-topics --list    --zookeeper localhost:2181

--创建生产者
kafka-console-producer   --broker-list localhost:9092   --topic weblogs


--消费者
kafka-console-consumer --zookeeper localhost:2181 --topic weblogs --from-beginning

--上传本地文件

 hadoop fs -put /home/training/training_materials/data/purplecow.txt  /loudacre/purplecow.txt

--打开本地文件

cat purplecow.txt | kafka-console-producer --broker-list localhost:9092 --topic weblogs

--  监听

tail -f purplecow.txt | kafka-console-producer --broker-list localhost:9092 --topic weblogs

--update
echo '11111'>>purplecow.txt