KAFKA
彭薄
这个作者很懒,什么都没留下…
展开
-
kafka重复消费问题
问题描述: 在消费者处理数据慢的时候(消费能力低),消费者会重复消费某个局部数据。在消费能力不变的情况下,陷入死循环。只有在消费能力增强后,才会跳出这个重复消费的死循环。原理解析:上图就是完整的kafka消费的过程,在consumer里面配置了一个超时时间。如果步骤2处理消息超时,那么consumer进行第3步会失败。这时候再次进入步骤1拉取重复的数据,如此往复。验...原创 2018-11-28 12:53:06 · 4935 阅读 · 5 评论 -
高效数据拷贝之zero copy
问题背景许多Web程序需要实现从磁盘读取大量数据然后写入到网络socket中传输的功能。这类数据操作看起来不怎么消耗CPU,但是这个过程存在缺陷:操作系统内核(kernel)从磁盘中读出数据,然后将数据从内核区推到用户区,交给用户的应用系统。之后,用户的应用系统会将收到的数据再返回给内核区socket缓存区。实际上,用户应用程序只想去将数据从磁盘读出来然后交给网络socket处理。每一...原创 2019-02-23 11:06:12 · 2913 阅读 · 1 评论