kafka逻辑示意图以及命令

最新推荐文章于 2022-09-29 23:13:16 发布

汀桦坞

最新推荐文章于 2022-09-29 23:13:16 发布

阅读量738

点赞数

分类专栏：大数据文章标签： kafka

本文链接：https://blog.csdn.net/wiborgite/article/details/77165348

版权

大数据专栏收录该内容

76 篇文章 8 订阅

订阅专栏

了解了下kafka的组成，画了个图，便于后面回顾：

启动kafka
bin/kafka-server-start.sh config/server.properties &
启动一个producer：
bin/kafka-console-producer.sh --broker-list node3:9092 --sync --topic test
启动一个consumer：
bin/kafka-console-consumer.sh --zookeeper node3:2181 --topic test --from-beginning
将一个文件作为producer：
tail -n 0 -f test.log | bin/kafka-console-producer.sh --broker-list node3:9092 --sync --topic test
通过echo向test.log中追加内容，在customer订阅该topic，可以看到追加的内容。

性能测试：
---创建主题：
bin/kafka-topics.sh --zookeeper node3:2181 --create --topic test-pati1-rep2 --partitions 1 --replication-factor 1
---测试生产者吞吐率：
bin/kafka-producer-perf-test.sh --messages 200000 --message-size 100 --batch-size 1 --topics test-pati1-rep2 --threads 1 --broker-list node3:9092
---测试消费者吞吐率：
bin/kafka-consumer-perf-test.sh --messages 200000 --batch-size 10 --topic test-pati1-rep2 --threads 1 --zookeeper node3:2181
PS：可以partition、messages等参数进行比较测试，线程数比分区数多时没有意义