当CDP环境中有kerberos认证时如何使用kafka呢?
1.加载认证相关环境变量。
source /home/root/kafka_demo/env.sh
--执行1之后可以执行下面的命令
2.消费某个具体的TOPIC topic123;
kafka-console-consumer --bootstrap-server 192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 --topic topic123 --from-beginning --consumer.config /home/root/kafka_demo/client.properties
3.查看topic 列表;
kafka-topics --list --zookeeper 10.11.60.151:2181,10.11.60.152:2181,10.11.60.153:2181/kafka
4.创建topic : topic123 ;
kafka-topics --create --topic topic123 --partitions 1 --replication-factor 1 --bootstrap-server 192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 --command-config /home/root/kafka_demo/client.properties
5.删除 topic;
kafka-topics --delete --zookeeper 10.11.60.151:2181,10.11.60.152:2181,10.11.60.153:2181/kafka --topic topic123
6.启动某个topic的生产者:topic123。
kafka-console-producer --bootstrap-server 192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 --topic topic123 --producer.config /home/root/kafka_demo/client.properties
7.查看topic :topic123 信息。
kafka-topics --describe --zookeeper 10.11.60.151:2181,10.11.60.152:2181,10.11.60.153:2181/kafka --topic topic123 |grep Topic
8.查询消费组列表。
kafka-consumer-groups --bootstrap-server 192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 --list --command-config /home/root/kafka_demo/client.properties
9.查看某个消费者的消费位置。
kafka-consumer-groups --bootstrap-server 192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 --describe --group kafka-db-99bdcf1a-64c0-21fd-129c-e174b102104c --command-config /home/root/kafka_demo/client.properties
10.kafka压力测试。
#每个记录大小1000字节。
#总共10W行记录。
#每次吞吐一个。
#压力测试后需要删除创建的topic: topic123
kafka-producer-perf-test --topic topic123 --record-size 1000 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=192.168.1.10:9092,192.168.1.11:9092,192.168.1.12:9092 --producer.config /home/root/kafka_demo/client.properties