flume和kafka相关的命令集合

解释：hadoop01是我的主机名

2181是 端口

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

 --from-beginning：会把主题中以往所有的数据都读取出来

注：zookeeper、kafka、jps的群起脚本，rsync的分发脚本在下面的链接

jps、kafka、zookeeper群起脚本和rsync文件分发脚本（超详细）_一个人的牛牛的博客-CSDN博客

1.启动zookeeper（在zookeeper目录下）

bin/zkServer.sh start

2.开启kafka（在kafka的目录下）

bin/kafka-server-start.sh -daemon config/server.properties

3.创建topic（fktest是topic名）（在kafka的目录下）

bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 --topic fktest

4.打开kafka的生产者（fktest是topic名）（在kafka的目录下）

bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic fktest

5.打开kafka的消费者（在kafka的目录下）

bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic ods_base_log

bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic ods_base_log --from-beginning

6.查看topic列表（在kafka的目录下）

bin/kafka-topics.sh --zookeeper hadoop01:2181 --list

7.删除topic，topic名为first（在kafka的目录下）

bin/kafka-topics.sh --zookeeper hadoop01:2181 --delete --topic first

8.启动flume的flume-kafka.conf的监听端口（在flume的目录下）

bin/flume-ng agent -f conf/flume-kafka.conf -n a5 -Dflume.root.logger=INFO,console

9.查看某个topic的详情（在kafka目录下）

 bin/kafka-topics.sh --zookeeper hadoop01:2181 --describe --topic test

10.修改分区数（在kafka目录下）

bin/kafka-topics.sh --zookeeper hadoop01:2181 --alter --topic test --partitions 6