kafka
文章平均质量分 72
Andy-java
热爱编程
展开
-
Kafka的可靠性
可靠性保证kafka在哪些方面做出保证呢?单生产者,kafka可以保证顺序消费只有当写入的消息被写入所有的副本时,才认为是“已提交”的只要有一个活跃的分区副本,那么,已提交的数据就不会丢失。消费者只能读取已经提交的消息如何保证topic元数据信息安全replication.factor配置topic的复制系数所有的分区副本都没有正常同步,分区首领又挂掉了,如何做选举?方案有两...原创 2019-12-30 22:37:00 · 154 阅读 · 0 评论 -
深入理解kafka篇
集群成员关系Kafka使用 Zookeeper来维护集群成员的信息.每个broker都有唯一的标识符,可以配置指定,也可以自动生成。在broker启动时,他通过创建临时节点把自己注册到zk。broker订阅zk的/brokers/ids路径,当有broker加入或者退出集群时,这些组件可以获得通知。在关闭 broker时,它对应的节点也会消失,不过它的 ID会继续存在于其他数据结构中。例...原创 2019-12-17 23:02:41 · 193 阅读 · 0 评论 -
kafka consumer - 消费者的配置
//组唯一id public static final String GROUP_ID_CONFIG = "group.id"; //控制单次调用call()返回的记录数量 public static final String MAX_POLL_RECORDS_CONFIG = "max.poll.records"; /** 使用组管理的时候生效 如果consum...原创 2019-12-10 22:39:57 · 1318 阅读 · 0 评论 -
Kafka消费者 - rebalance
几个概念消费者组多个消费实例共享一个GroupId,多个消费实例组织在一起协调消费订阅的主题和分区。消费实例可以是一个进程也可以是一个线程GroupId是一个字符串,唯一标识一个消费组GroupId.consumerInstance:GroupId.partition = 1:N,也就是说同一个消费者实例和partition的对应关系是1:Noffset位移(offset):cons...原创 2019-12-10 22:19:10 · 277 阅读 · 0 评论 -
Kafka概述
主题和分区kafka通过主题对消息分类。kafka通过分区实现数据冗余和伸缩性。一个主题包含多个分区,所以在topic内消息可能是无需的,但是在单个partition内部是有序的。生产者和消费者生产者创建消息,发布到一个特定的主题上,消息会均衡在所有分区上。消费者订阅一个或者多个主题,按照生产顺序消费消息。偏移量是一种元数据,是一个不断递增的整数值,消费者通过偏移量来区分已经消费的...原创 2019-12-04 22:21:28 · 320 阅读 · 0 评论 -
Kafka
Kafka概述主题和分区生产者和消费者Producer篇生产者的配置生产者的序列化器生产者的分区Consumer篇消费者群组再均衡消费者的配置提交和偏移量反序列化器独立消费者Broker篇存储篇概述主题和分区生产者和消费者Producer篇生产者的配置生产者的序列化器生产者的分区Consumer篇消费者群组再均衡消费者的配置提交和偏移量反序列化器独立消费者Broker篇...原创 2019-12-04 21:57:41 · 139 阅读 · 0 评论