本文通过性能测试展示了Kafka在不同配置下的写入和读取性能。测试发现，Kafka的写入速度与数据量基本无关，但与每次缓存发送的消息条数相关，缓存数据量越大，性能越高。读性能则与每次读取的消息数量正相关，批量读取能显著提升效率。结论指出，优化客户端的发送策略和提高消息批量处理能有效提升Kafka的性能。
前置条件：
每条话单大概0.7K
写客户端单线程
props.put("acks","all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 100);
props.put("buffer.memory", 33554432);
props.put("key.serializer","org.apache.kafka.common.serialization.IntegerSerializer");
props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");
写性能测试数据:
一个分区一个备份：
1. 客户端生产1000万条话单消息,每一万条消息缓存发送一次
开始时间time=Apr 21, 2017 3:57:26 PM
结束时间time=Apr 21, 2017 3:58:26 PM
写性能为:16.6万/s
2. 客户端生产1亿条话单消息,每一万条消息缓存发送一次
开始时间time=Apr 21, 2017 4:01:53 PM
结束时间time=Apr 21, 2017 4:12:19 PM
写性能为:16.6万/s
3.
最低0.47元/天 解锁文章
扫一扫
1770
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
