Kafka常用操作命令
l 查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper hadoop02:2181
l 创建topic
./kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 3 --topic first
l 删除topic
sh bin/kafka-topics.sh --delete --zookeeper hadoop02:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
l 通过shell命令发送消息
kafka-console-producer.sh --broker-list hadoop02:9092 --topic beicai
l 通过shell消费消息
sh bin/kafka-console-consumer.sh --zookeeper hadoop02:2181 --from-beginning --topic test1
l 查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper hadoop02:2181 --group testGroup
l 查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper hadoop02:2181
启动flume前台命令:
在输入[hadoop@hadoop02 conf]$ flume-ng agent -n a -c conf -f /log.conf
l 查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper hadoop02:2181
l 创建topic
./kafka-topics.sh --create --zookeeper hadoop02:2181 --replication-factor 1 --partitions 3 --topic first
l 删除topic
sh bin/kafka-topics.sh --delete --zookeeper hadoop02:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
l 通过shell命令发送消息
kafka-console-producer.sh --broker-list hadoop02:9092 --topic beicai
l 通过shell消费消息
sh bin/kafka-console-consumer.sh --zookeeper hadoop02:2181 --from-beginning --topic test1
l 查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper hadoop02:2181 --group testGroup
l 查看某个Topic的详情
sh kafka-topics.sh --topic test --describe --zookeeper hadoop02:2181
启动flume前台命令:
在输入[hadoop@hadoop02 conf]$ flume-ng agent -n a -c conf -f /log.conf