kafka
文章平均质量分 77
逸643
这个作者很懒,什么都没留下…
展开
-
kafka分布式如何保证
众所周知kafka是集群模式,那么kafka是如何保证数据一致性,以及集群间和消费者是如何交互的呢?首先先来了解几个名称:AR:分区中所有副本统称为AR(Assigned Replicas)。ISR:所有与leader副本保持一定程度同步风副本(包括leader副本本身)组成ISR(IN-Sync Replicas),ISR集合是AR集合中的一个子集。replica.lag.time.max.ms这个就是follower副本落后leader副本的时间间隔,默认30秒。只要follower副本每隔原创 2021-01-27 10:12:56 · 501 阅读 · 0 评论 -
kafka客户端执行流程和源码分析
先看下客户端的整体架构:转存失败重新上传取消整个生产者客户端由2个线程协调运行,就是主线程和sender线程。在主线程中由Kafka Producer创建消息,然后通过拦截器、序列化器和分区器的作用后,缓存到消息累加器(也称为消息收集器),Sender负责从消息累加器获取消息并将其发送到Kafka中。消息累加器主要用来缓存消息以便于sender线程可以批量发送,进而减少网络传输的资源消耗以提升性能。缓存大小是配置的,默认为32MB,如果生产速度过快,被阻塞最多60秒(配置的),就会抛异常。.原创 2021-01-26 18:32:54 · 513 阅读 · 0 评论