kafka命令行操作

一，模拟生产者和消费者

kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 3 --partitions 3 --topic input-kafka

#查看topic信息
/export/server/kafka/bin/kafka-topics.sh --list --zookeeper node1:2181
#删除topic
/export/server/kafka/bin/kafka-topics.sh --delete --zookeeper node1:2181 --topic stationTopic
/export/server/kafka/bin/kafka-topics.sh --delete --zookeeper node1:2181 --topic etlTopic

#创建topic
/export/server/kafka/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic stationTopic
/export/server/kafka/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic etlTopic

#模拟生产者
/export/server/kafka/bin/kafka-console-producer.sh --broker-list node1:9092 --topic stationTopic
/export/server/kafka/bin/kafka-console-producer.sh --broker-list node1:9092 --topic etlTopic

#模拟消费者
/export/server/kafka/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic stationTopic --from-beginning
/export/server/kafka/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic etlTopic --from-beginning

二，查看消费组

1，查看所有的消费组

kafka-consumer-groups.sh --bootstrap-server node1:9092 --list

2，查看某个消费组的具体信息

kafka-consumer-groups.sh --bootstrap-server node1:9092 --group ods_base_log_2 --describe

可以看到这个消费组消费的topic，分区，当前消费到的offset，topic的offset，是否存在消费积压(LAG)。

三，查看__consumer_offset

修改配置文件：

config/consumer.properties

exclude.internal.topics=false

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server node1:9092 --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config config/consumer.properties  --from-beginning