- 博客(3)
- 收藏
- 关注
RSS订阅原创 kafka producer与replica关系
为什么吞吐量会和replica相关，因为Kafka的repilca会发送fetcher请求，kafka处理fetcher请求和读写请求都是在同一线程池内。fetch请求又比较频繁，所以会影响kafka吞吐量，但是如果ack选择-1，那么调大这个值会增大吞吐，因为网络I/O带来的损失，远比fetcher并发执行要小。...
2019-07-25 16:17:13
167
原创 kakfa producer吞吐量与partition数量的关系
最近在做kafka性能测试，发现随着partition的数量增加，producer的吞吐量增大，但当partition增长到一定数量时吞吐量又有所下降。这在我看来是十分奇怪的，producer的吞吐量为什么会和partition数量相关，producer的吞吐量不应该只和producer有关吗。为此我翻看了下源码，找到了为何partition数量增大，吞吐量会增大的原因。 for (Node n...
2019-07-19 15:55:43
498
原创 Kafka问题
has passed since last append问题描述排查过程问题描述当发送多条消息到kafka的时候发现数据丢失，开始排查问题。排查过程首先读取文件之后发送消息到kafka。发的同时发现kafka抛出has passed since last append的异常。发现出现这个问题的原因是kafka producer的一个配置项request.timeout.ms导致的。查看pr...
2019-05-21 18:48:14
2285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人