![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 83
dwjf321
这个作者很懒,什么都没留下…
展开
-
Kafka 实战指南—— Kafka 工作原理分析
文章目录1. Kafka 生产过程分析1.1 Kafka 的消息写入方式(顺序写磁盘)1.2 分区(Partition)1.2.1 为什么要分区1.2.2 分区的原则1.3 副本(Replication)1.4 写入流程2. Broker 保存消息2.1 存储方式2.2 存储策略2.3 Zookeeper 存储结构3. Kafka 消费过程分析3.3 消费者组3.4 消费方式Kafka 核心组成:图 Kafka 核心组成1. Kafka 生产过程分析1.1 Kafka 的消息写入方式(顺序写磁盘)原创 2021-03-02 10:49:06 · 294 阅读 · 0 评论 -
Kafka 原理分析—— Parition的高可用副本机制
文章目录1. 副本分配算法2. kafka副本机制中的几个概念3. 副本协同机制4. 副本同步队列(ISR)5. 水位值 (HW) 和 日志末端位移 (LED)6. 数据的同步过程我们已经知道 Kafka 的每个 topic 都可以分为多个 Partition,并且多个 Partition 会均匀分布在集群的各个节点上。虽然这种方式能够有效的对数据进行分片,但是对于每个 partition 来说都是单点的。当其中一个 partition 不可用的时候,那么这部分消息就没办法消费。所以 Kafka 为了提高原创 2021-03-02 11:06:23 · 237 阅读 · 0 评论 -
Kafka 原理分析——消息存储的原理
Kafka 原理分析——消息存储的原理文章目录Kafka 原理分析——消息存储的原理1. 消息的文件存储机制2. LogSegment3. 查看 segment 文件命名规则4. segment 中 index 和 log 的对应关系5. 在 partition 中如何通过 offset 查找 message6. Log 文件的消息内容分析7. 日志的清除策略8. 日志的压缩策略1. 消息的文件存储机制我们知道一个 topic 的多个 partition 在物理磁盘上保存在 log.dirs配置的路径原创 2021-03-02 11:03:34 · 588 阅读 · 2 评论 -
Kafka 实战指南——Kafka API 实战
文章目录1. 环境准备2. 生产者 Java API3. 自定义分区4. Kafka 消费者 Java API1. 环境准备创建 maven 工程,添加依赖:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.1.0</version></de原创 2021-03-02 11:01:59 · 220 阅读 · 0 评论 -
Kafka 实战指南——Kafka 消费者配置
文章目录1. 消费位点提交2. 消费位点重置3. session 超时和心跳监测4. 拉取大消息5. 拉取公网6. 消息重复和消费幂等7. 消费失败8. 消费延迟9. 消费阻塞以及堆积10. 提高消费速度11. 消息过滤12. 事务消息13. 消息广播14. 订阅关系1. 消费位点提交消息队列Kafka版消费者有两个相关参数:enable.auto.commit:默认值为 true,自动提交。auto.commit.interval.ms: 默认值为1000,也即1s。这两个参数组合的结果就是原创 2021-03-02 11:00:36 · 5929 阅读 · 0 评论 -
Kafka 实战指南——Kafka 生产者配置
文章目录1. Key和Value2. 失败重试3. 异步发送4. 线程安全5. Acks6. Batch7. 单个请求的最大值8. OOM9. 分区顺序10. 顺序保证11. Producer 幂等性11.1 Producer 幂等性设置11.2 幂等性原理11.3 原因分析12. Producer 开启事务12.1 Producer 事务示例12.1.2 查找TransactionCoordinator事务实现原理12.1.3 获取PID12.1.4 开启事务12.1.5 Consume-Porcess-原创 2021-03-02 10:58:35 · 2770 阅读 · 0 评论 -
Kafka 实战指南——Kafka概述
文章目录1. 什么是消息队列2. 消息队列的消费模式3. 为什么需要消息队列4. 什么是Kafka5. kafka 架构1. 什么是消息队列一般来说,消息队列是一种异步的服务间通信方式,是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。使用较多的消息队列有RocketMQ、RabbitMQ、Kafka等。2. 消息队列的消费模式消息队列内部实现原理:通过消息队列内部实现原理,我们观察到消息队列的模式有:点对点模式和发布/订阅模式。原创 2021-03-02 10:45:36 · 219 阅读 · 0 评论 -
Kafka 实战指南——Kafka 集群部署
文章目录1. 环境准备1.1 集群规划1.2 安装包下载2. Kafka 集群部署3. Kafka 命令行操作1. 环境准备1.1 集群规划hadoop102hadoop102hadoop102zkzkzkkafkakafkakafka1.2 安装包下载http://kafka.apache.org/downloads.html2. Kafka 集群部署解压安装包[dwjf321@hadoop102 software]$ tar -zxvf kaf原创 2021-03-02 10:42:55 · 137 阅读 · 0 评论