kafka性能测试

原创 2018年04月16日 18:13:21

版本0.10.1.1

kafka  broker的JVM默认是使用1G的内存

./bin/kafka-producer-perf-test.sh --topic test-pati3-rep2 --throughput 500000 --num-records 1500000 --record-size 1000 --producer.config config/producer.properties --producer-props bootstrap.servers=10.1.8.16:9092,10.1.8.15:9092,10.1.8.14:9092 acks=1

包括ack=all 和ack=1两种测试,消息大小为1000,TPS大概为6W

修改JVM到4G后的压测

消息大小为1000或500 ack=1 TPS在消息大小为1k的时候大概是8W,消息大小为500的时候TPS大概为16W


由此可以看出此机器的瓶颈在硬盘上,而kafka对硬盘的性能要求最高,如有机会再SSD上进行一下测试,效果应该更好。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/skymouse2002/article/details/79964168

C++ BuilderX的问题与展望(1,问题篇-上)

C++ BuilderX的问题与展望 猛禽[Mental Studio]http://mental.mentsu.com(之一,问题篇-上)写这篇文章的初衷源自2003年12月11日在玉笛书生兄所建C...
  • Raptor
  • Raptor
  • 2004-01-15 14:03:00
  • 3219

kafka-0.10版本单机性能测试

linux下的搭建方式 1.下载kafka_2.10-0.10.0.0安装kafka  2.我用的的Java1.7.0_51 3.启动zookeeper bin/zookeeper-server-...
  • u013013024
  • u013013024
  • 2017-05-05 13:46:18
  • 965

Kafka性能测试与详解

Kafka原理和集群测试 Kafka的关键设计决策Kafka是一个消息系统,由LinkedIn贡献给Apache基金会,称为Apache的一个顶级项目。Kafka最初用作LinkedIn的活动流...
  • u013035314
  • u013035314
  • 2015-07-22 09:35:51
  • 3922

kafka 性能测试

昨天在公司时,本来想用kafka官方提供的工具做性能测试的。但事与愿违,当我执行官方提供的kafka测试脚本,却报错没有找到ProducerPerformance,后来浏览一些代码文件,才发现没有把p...
  • tzwjava
  • tzwjava
  • 2014-10-16 15:56:45
  • 1440

Kafka性能测试方法

以下会介绍利用Kafka自带的性能测试脚本及KafkaManager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态。 Kafka性能测试脚本   $K...
  • successA
  • successA
  • 2017-07-30 23:40:03
  • 446

kafka性能参数和压力测试

上一篇文章介绍了Kafka在设计上是如何来保证高时效、大吞吐量的,主要的内容集中在底层原理和架构上,属于理论知识范畴。这次我们站在应用和运维的角度,聊一聊集群到位后要怎么才能最好的配置参数和进行测试性...
  • u013939918
  • u013939918
  • 2017-04-27 01:09:13
  • 980

Kafka测试及性能调优详细总结

Kafka性能测试     测试背景   由于业务需求,针对kafka在不同参数下的性能进行测试。从而进行kafka性能调优   测试目标   测试kafka 0.8n的性能(Pro...
  • airfish20000
  • airfish20000
  • 2017-08-20 17:21:06
  • 1622

rabbitmq 和 kafka 简单的性能测试

测试环境:ubuntu 15.10 64位 cpu:inter core i7-4790 3.60GHZ * 8 内存:16GB 硬盘:ssd 120GB 软件环境:rabbm...
  • joeyon
  • joeyon
  • 2017-01-25 16:39:34
  • 479

storm、kafka、flume性能测试

  • 2015年08月16日 21:53
  • 6.51MB
  • 下载

Kafka性能测试分析

首先要特别感谢赵崇贺同学利用业余时间进行的压测,才能为本文提供专业的测试数据一、测试环境准备 Cpu 内存 硬盘 Intel(R) Xeon(R) CPU E5520 @ 2.27...
  • u013970991
  • u013970991
  • 2016-07-29 09:57:26
  • 5532
收藏助手
不良信息举报
您举报文章:kafka性能测试
举报原因:
原因补充:

(最多只允许输入30个字)