KAFKA topic生成 消费

启动zookeeper

启动kafka，启动kafka时要启动zookeeper集群上所有的kafka，否则会出现找不到leader的错误

./kafka-server-start.sh ../config/server.properties &

进入kafka的bin目录下

1.创建一个topic

./kafka-topics.sh --zookeeper hdp-1:2181 --create --replication-factor 3 --partitions 1 --topic first

2.查看topic

./kafka-topics.sh --zookeeper hdp-1:2181 --list

3.删除topic

./kafka-topics.sh --zookeeper hdp-1:2181 --delete --topic first

创建一个生产者

 ./kafka-console-producer.sh  --broker-list hdp-1:9092 --topic first

创建一个消费者

./kafka-console-consumer.sh --bootstrap-server hdp-1:9092 --from-beginning --topic first

此时在生产者输入信息会在消费者上显示

Flume启动

$FLUME_HOME/bin/flume-ng agent \
-c conf \
-n a1 \
-f $FLUME_HOME/conf/frame.logger.properties \
-Dflume.root.logger=DEBUG,console