kafka
胡jj
如此生活过三十年,直到大厦崩塌。
展开
-
kafka如何保证数据不丢失
生产者数据不丢失 生产者发送数据有同步方式和异步方式,先来看一下生产者一些关键配置项, 同步方式下配置producer.type=sync request.required.acks=1 在同步方式下发送数据,在发送的时候会产生阻塞,等待ack反馈,acks有三个参数0, 1,all,acks参数设置为0表示不等待反馈,表示不需要等待kafk...原创 2018-12-26 15:45:25 · 1748 阅读 · 0 评论 -
kafka中生产者自定义分区器
kafka中生成者自定义分区器,以及分区的分发策略,先来直接看看如何实现,直接附上代码案例首先先实现 Partitioner接口,创建一个自定义分区器package com.hj.kafka.producer;import java.util.List;import java.util.Map;import org.apache.kafka.clients.producer.Pa...原创 2018-12-26 17:19:09 · 1558 阅读 · 1 评论 -
kafka消费者分区分配策略及自定义分配策略
kafka消费者如何分配分区以及分配分区策略和源码解释我们知道kafka的主题中数据数据是按照分区的概念来的,一个主题可能分配了多个分区,每个分区配置了复制系数,为了可用性,在多个broker中进行复制,一个分区在多个broker中选举出一个副本首领,消费者只访问这个分区副本首领,这些在本章节不重要,本章节阐述一个消费者如何选定一个主题中多个分区中的一个分区,和kafka的分区分配策略核心源码...原创 2018-12-28 16:05:48 · 4974 阅读 · 4 评论 -
kafka的控制器选举以及作用
先来说一说kafka控制器的作用kafka的控制器本身是一个broker,它有broker的功能,还负责kafka的分区首领的选举上面先简单描述一下分区的概念,一个主题可能创建了多个分区,每个分区针对不通的消费组都是独立的,有序的,每个分区可能有多个副本,加入5个broker,分区的复制系数为3(复制系数这些配置可以参考kafka的配置,官方的文档描述的还是挺全的),那么有三台broker...原创 2019-01-02 11:18:00 · 786 阅读 · 0 评论