Kafka性能测试-kafka-producer/consumer

最新推荐文章于 2024-04-15 10:01:10 发布
最新推荐文章于 2024-04-15 10:01:10 发布
阅读量1.1k 收藏 7
点赞数
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanjihun88/article/details/105657991
版权
本文详细介绍了如何进行Kafka的性能测试，包括使用kafka-producer-perf-test.sh进行生产者性能测试，解释了各项参数，并展示了执行结果。同样，也探讨了kafka-consumer-perf-test.sh消费者性能测试的命令和参数，以及如何通过kafka-consumer-groups.sh命令查看消费组状态和消费详情。此外，还提到了如何查看Zookeeper中的所有topic和创建topic的命令。
摘要由CSDN通过智能技术生成

1.写入数据命令（以下所有命令必须在kafka/bin目录下面执行）
./kafka-producer-perf-test.sh --topic newgameMG–num-records 1000000 --record-size 2000 --throughput 500000 --producer-props bootstrap.servers=172.18.3.94:9099,172.18.3.179:9099,172.18.3.177:9099

kafka-producer-perf-test.sh 脚本命令的参数解析（以100w写入消息为例）：
–topic topic名称，本例为test_perf
–num-records 总共需要发送的消息数，本例为100000
–record-size 每个记录的字节数，本例为2000
–throughput 每秒钟发送的记录数，本例为500000
–producer-props bootstrap.servers=172.18.3.94:9099,172.18.3.179:9099,172.18.3.177:9099（发送端的配置信息，可在kafka的config目录，以该项目为例：/usr/local/kafka/config；查看server.properties中配置的zookeeper.connect的值，默认端口：9092）

执行结果如下
在这里插入图片描述

结果参数说明：

100000 records sent ：总写入消息数

101543.460601records/sec：每秒写入消息数

最低0.47元/天 解锁文章
hanjihun88
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka性能测试
keeper的博客
06-05 1898
写入压力测试kafka-producer-perf-test.sh--topic             topic名称，本例为test_property--num-records       总共需要发送的消息数，本例为1000000--record-size       每个记录的字节数，本例为1000--throughput        每秒钟发送的记录数，本例为20000--produc...
Kafka consumer 与 producer测试
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 803
本实验任务主要完成基于ubuntu环境掌握Kafka consumer 与 producer测试的工作。通过完成本实验任务，要求学生熟练掌握Kafka consumer 与 producer的使用，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Kafka consumer 与 producer测试Ubuntu(三台节点:mater：192.168.0.3,slave1：192.168.0.2,slave2：192.168.0.
Kafka 源码解析 - Kafka性能测试方法及Benchmark报告
最新发布
qq_33240556的博客
04-15 318
Apache Kafka 性能测试通常关注以下几个关键指标，包括但不限于吞吐量（TPS: Transactions Per Second）、延迟（Latency）、资源利用率（CPU/Memory/Disk I/O）以及在不同压力下的稳定性。
Kafka Producer详解(二)
u013332124的专栏
07-31 7314
一、Producer介绍 在kakfa中，生产者采用push的方式想kafka集群提交数据。kakfa官方提供了一个producer的api，方便我们调用代码向集群发送消息。 Producer所需要的maven依赖如下： <dependency> <groupId&g
最佳实践｜从Producer 到 Consumer，如何有效监控 Kafka
阿里云技术
06-08 259
对于运维人而言，如何安装维护一套监控系统，或如何进行技术选型，从来不是工作重点。如何借助工具对所需的应用、组件进行监控，发现并解决问题才是重中之重。
kafka0.9 producer与consumer参数
chuanzhongdu1的专栏
03-11 2309
bootstrap.servers   kafka集群节点列表格式;host1:port1,host2:port2 key.serializer key序列化类型  value.serializer value序列化类型  acks producer需要等待leader响应数量 0不需要等待应答，1代表leader成功写入本地log但不等待follow,-1代表等待insyn
kafka-2.12-3.6.1.tgz
12-19
/usr/local/kafka_2.12-3.6.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning ``` 这将从主题的开头开始消费所有消息。 九、扩展与优化 Kafka支持集群部署，...
kafka-2.12-3.3.2.tgz
02-01
3. **生产者（Producer）**：生产者负责将消息发送到Kafka的特定主题。Kafka 2.12-3.3.2版本中，生产者API已经优化，支持更高效的批量生产和幂等性。 4. **消费者（Consumer）**：消费者从Kafka的主题中读取数据。...
pentaho-kafka-consumer.zip
03-16
在标题"pentaho-kafka-consumer.zip"中，我们看到的是一个专门为Pentaho Kettle定制的Kafka消费者插件的压缩包。 这个压缩包的描述提到了如何在Pentaho环境中安装和使用这个插件。首先，你需要在你的Pentaho Kettle...
kafka_2.12-3.3.1.tgz
10-04
- `bin`目录：包含了启动和管理Kafka服务的脚本，如`kafka-server-start.sh`、`kafka-console-producer.sh`和`kafka-console-consumer.sh`。 - `config`目录：包含默认配置文件，如`server.properties`（配置Kafka ...
kafka_2.11-2.0.0.tgz
07-03
- **事务（Transactions）**：Kafka支持跨分区和跨 producer 的事务，保证数据的一致性。 - **连接器（Connectors）**：Kafka Connect允许快速构建和运行将数据导入或导出Kafka的连接器，如HDFS、Elasticsearch等...
Kafka 验证部署（单机版）kafka-producer-perf-test.sh 吞吐量测试工具的基本使用
是个好男人的博客
05-12 6420
1.测试topic创建与删除 （1）创建一个测试topic，名为test-topic。创建3个分区，每个分区分配1个副本（因为是单机kafka,如果是集群的话可以分配多个副本），如果分配的副本数大于broker的数量时，会报错 bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test-topic --partitions 3 --replication-factor 1 （2）查看topic是否创建成功 .
apache kafka性能测试命令使用和构建kafka-perf
李志涛的专栏
07-06 1万+
Producer Setupbin/kafka-topics.sh --zookeeper esv4-hcl197.grid.linkedin.com:2181 --create --topic test-rep-one --partitions 6 --replication-factor 1bin/kafka-topics.sh --zookeeper esv4-hcl197.grid.lin
Kafka性能测试脚本详解
fanxl10的专栏
01-18 2235
Apache Kafka 官方提供了两个客户端性能测试脚本
kafka0.10.1 内置性能测试（生产者和消费者吞吐量测试）
qq_21153619的博客
11-20 1327
1、使用kafka-run-class脚本测试 生产者测试： kafka-run-class.sh:是kafka提供的测试Producer性能脚本，通过脚本，可以计算出Producer在一段时间内的平均延时和吞吐量。 ./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic siger --num-rec...
Kafka性能测试之produce
跋跋寒的博客
08-13 9397
在kafka的bin目录下，有两个脚本kafka-producer-perf-test.sh 和kafka-consumer-perf-test.sh，这两个脚本的作用是用来测试生产者和消费者的。 [root@hostname bin]# ./kafka-producer-perf-test.sh --help usage: producer-performance [-h] --topic ...
Kafka中Producer拦截器
while false
09-23 692
1.拦截器原理(interceptor) Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑 对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息 等，同时producer允许用户指定多个interceptor按序作用于同一条...
5种kafka消费端性能优化方法
华为云官方博客
08-04 4108
本文讲述基于FusionInsight HD&MRS的五种kafka消费端性能优化方法。
kafka性能参数和压力测试揭秘
热门推荐
stark_summer的专栏
12-07 6万+
上一篇文章介绍了Kafka在设计上是如何来保证高时效、大吞吐量的，主要的内容集中在底层原理和架构上，属于理论知识范畴。这次我们站在应用和运维的角度，聊一聊集群到位后要怎么才能最好的配置参数和进行测试性能。Kafka的配置详尽且复杂，想要进行全面的性能调优需要掌握大量信息，我也只是通过工作中的一些实战经验来筛选出对集群性能影响最大的几个要点，接下来要阐述的观点也仅限于我所描述的环境下，请大家根据自己
进入目录/simple/kafka_2.10-0.8.1.1，执行命令bin/kafka-topics.sh --create --zookeeper simple:2181 --replication-factor 1 --partitions 1 --topic logtopic ，bin/kafka-console-producer.sh --broker-list simple:9092 --topic logtopic ，bin/kafka-console-consumer.sh --zookeeper simple:2181 --from-beginning --topic logtopic 是什么意思
06-07
这是一组关于Kafka消息队列的命令： 1. `bin/kafka-topics.sh --create --zookeeper simple:2181 --replication-factor 1 --partitions 1 --topic logtopic`：创建一个名为`logtopic`的主题(topic)，指定它只有一个分区(partition)，副本系数(replication factor)为1，使用zookeeper作为管理和协调的中心，简单来说就是创建了一个可以用来存储消息的主题。 2. `bin/kafka-console-producer.sh --broker-list simple:9092 --topic logtopic`：启动一个控制台生产者(console producer)程序，用于向名为`logtopic`的主题发送消息。`--broker-list`参数指定了Kafka broker的地址，这里是`simple:9092`，即Kafka broker的主机名为`simple`，端口号为`9092`。 3. `bin/kafka-console-consumer.sh --zookeeper simple:2181 --from-beginning --topic logtopic`：启动一个控制台消费者(console consumer)程序，用于从名为`logtopic`的主题消费消息。`--zookeeper`参数指定了zookeeper的地址，这里是`simple:2181`，即zookeeper的主机名为`simple`，端口号为`2181`。`--from-beginning`参数表示从主题的开头开始消费消息。简单来说就是创建了一个可以从主题中读取消息的消费者。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值