Kafka压力测试

使用用Kafka自带的脚本进行压力测试。

测试平台:CDH6.2,Kafka2.1

Kafka压测可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO),一般都是网络IO达到瓶颈。

kafka-producer-perf-test.sh
kafka-consumer-perf-test.sh

Kafka Producer压力测试

/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka/bin/kafka-producer-perf-test.sh  \
--topic test --record-size 1000 --num-records 1000000 --throughput 1000 \
--producer-props bootstrap.servers=cdh-master:9092,cdh-slave01:9092,cdh-slave02:9092
  • record-size 单条信息大小,字节单位。
  • num-records 总共发送多少条信息。
  • throughput 每秒多少条信息。

说明:

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
关于Kafka的性能测试,您可以考虑以下几个方面: 1. 压力测试:通过模拟大量并发请求,测试Kafka在高负载情况下的性能表现。您可以使用工具如Apache JMeterKafka Load Testing Tool等来进行压力测试。 2. 吞吐量测试:测试Kafka在单位时间内能够处理的消息数量。可以通过发送大量消息并记录处理时间来计算吞吐量。同时,可以调整Kafka的配置参数,如分区数量、复制因子等,来观察吞吐量的变化。 3. 延迟测试:测试消息从生产者发送到消费者接收的延迟时间。您可以在消息发送和接收的代码中插入时间戳,并计算两者之间的差值来得到延迟时间。可以通过调整Kafka的配置参数、增加消费者数量等方式来观察延迟的变化。 4. 可用性测试:测试Kafka在出现故障时的可用性。可以模拟节点宕机、网络断开等情况,观察Kafka集群的自动故障转移和恢复能力。 在进行性能测试时,建议注意以下几点: - 确保测试环境与生产环境尽可能相似,包括硬件配置、网络环境等。 - 关注测试结果中的指标,如吞吐量、延迟、丢失率等。 - 注意监控Kafka集群的各项指标,如CPU、内存、网络等的使用情况。 - 尝试不同的场景和配置参数,以获得更全面的性能测试结果。 请注意,以上只是一些常见的性能测试方法,具体测试方案需要根据您的需求和环境来进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

訾零

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值