15.CDP平台KAFKA日常

最新推荐文章于 2024-09-30 11:14:31 发布

戒掉贪嗔痴(薛双奇)

最新推荐文章于 2024-09-30 11:14:31 发布

阅读量158

点赞数

分类专栏： Hadoop-大数据运维文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/weixin_43346403/article/details/129061235

版权

Hadoop-大数据运维专栏收录该内容

22 篇文章 1 订阅

订阅专栏

该文详细介绍了在启用kerberos认证的Kafka环境中，如何执行一系列管理任务，包括加载环境变量、消费TOPIC、查看topic列表、创建与删除topic、启动生产者、查看消费者位置、进行压力测试以及监控操作类型。此外，还提及了数据路径检查和特定CDH环境下的kafka信息查看。

摘要由CSDN通过智能技术生成

-由于 kafka 有基于kerberos的认证。所以必须增加认证相关的配置。
--必须先执行环境变量的加载，才可以执行后面：2~10的命令。
1.加载认证相关环境变量。
source /home/hjroot/kafka_demo/env.sh

--执行1之后可以执行下面的命令
2.消费某个具体的TOPIC topic123;
kafka-console-consumer --bootstrap-server 192.168.1.154:9092,192.168.1.155:9092,192.168.1.156:9092 --topic topic123 --from-beginning --consumer.config /home/hjroot/kafka_demo/client.properties

3.查看topic 列表;
kafka-topics --list --zookeeper 192.168.1.151:2181,192.168.1.152:2181,192.168.1.153:2181/kafka

4.创建topic : topic123 ;

kafka-topics --create --topic topic123 --partitions 1 --replication-factor 1 --bootstrap-server 192.168.1.154:9092,192.168.1.155:9092,192.168.1.156:9092 --command-config /home/hjroot/kafka_demo/client.properties

5.删除 topic;
kafka-topics --delete --zookeeper 192.168.1.151:2181,192.168.1.152:2181,192.168.1.153:2181/kafka --topic topic123

6.启动某个topic的生产者：topic123。
kafka-console-producer --bootstrap-server 192.168.1.154:9092,192.168.1.155:9092,192.168.1.156:9092 --topic topic123 --producer.config /home/hjroot/kafka_demo/client.properties

7.查看topic :topic123 信息。
kafka-topics --describe --zookeeper 192.168.1.151:2181,192.168.1.152:2181,192.168.1.153:2181/kafka --topic topic123 |grep Topic

8.查询消费组列表。
kafka-consumer-groups --bootstrap-server 192.168.1.154:9092,192.168.1.155:9092,192.168.1.156:9092 --list --command-config /home/hjroot/kafka_demo/client.properties

9.查看某个消费者的消费位置。
kafka-consumer-groups --bootstrap-server 192.168.1.154:9092,192.168.1.155:9092,192.168.1.156:9092 --describe --group kafka-db-99bdcf1a-64c0-21fd-129c-e174b102104c --command-config /home/hjroot/kafka_demo/client.properties

10.kafka压力测试。
#每个记录大小1000字节。
#总共10W行记录。
#每次吞吐一个。
#压力测试后需要删除创建的topic: topic123
kafka-producer-perf-test --topic topic123 --record-size 1000 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=192.168.1.154:9092,192.168.1.155:9092,192.168.1.156:9092 --producer.config /home/hjroot/kafka_demo/client.properties

11.查看kafka里面operation 类型。

sudo strings 00000000000000000000.log |grep optype |grep UPDATE 检查topic 是否有update 操作。

sudo strings 00000000000000000000.log |grep optype |grep DELETE 检查topic 是否有delete操作。

sudo strings 00000000000000000000.log |grep optype |grep INSERT 检查topic 是否有INSERT 操作。

查看topic数据路径：cd /var/local/kafka/data

注意：该文章为宁桥路机房 CDP大数据平台kafka日常管理，

如果要查看实时大屏所使用的CDH环境下的kafka，请点击： 7.陆家嘴CDH平台kafka信息查看