- 博客(3)
- 收藏
- 关注
原创 kafka producer与replica关系
为什么吞吐量会和replica相关,因为Kafka的repilca会发送fetcher请求,kafka处理fetcher请求和读写请求都是在同一线程池内。fetch请求又比较频繁,所以会影响kafka吞吐量,但是如果ack选择-1,那么调大这个值会增大吞吐,因为网络I/O带来的损失,远比fetcher并发执行要小。...
2019-07-25 16:17:13
191
原创 kakfa producer吞吐量与partition数量的关系
最近在做kafka性能测试,发现随着partition的数量增加,producer的吞吐量增大,但当partition增长到一定数量时吞吐量又有所下降。这在我看来是十分奇怪的,producer的吞吐量为什么会和partition数量相关,producer的吞吐量不应该只和producer有关吗。为此我翻看了下源码,找到了为何partition数量增大,吞吐量会增大的原因。 for (Node n...
2019-07-19 15:55:43
530
原创 Kafka问题
has passed since last append问题描述排查过程问题描述当发送多条消息到kafka的时候发现数据丢失,开始排查问题。排查过程首先读取文件之后发送消息到kafka。发的同时发现kafka抛出has passed since last append的异常。发现出现这个问题的原因是kafka producer的一个配置项request.timeout.ms导致的。查看pr...
2019-05-21 18:48:14
2378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人