极简单系列-kafka
Dm同学
博观而约取
展开
-
极简单系列-kafka-高吞吐与水平扩展
原创 2020-07-29 23:12:10 · 688 阅读 · 1 评论 -
极简单系列-kafka-ZK的作用
原创 2020-07-29 23:10:38 · 169 阅读 · 0 评论 -
极简单系列-kafka 选举
原创 2020-07-29 23:09:34 · 79 阅读 · 0 评论 -
极简单系列-kafka 消费
第一个问题:Push 很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。 它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息, 拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适 当的速率消费消息。 pull 模式不足之处是,如果 kafka 没有数据,消费者可能会陷入循环中,一直返回空数 据。针对这一点,Kafka 的消费者在消费数据时会传入一个时长参数 timeout,如果当前没有 数据可供消费,con原创 2020-07-29 23:08:09 · 147 阅读 · 0 评论 -
极简单系列-kafka 生产-重复问题
重复的原因 acks = -1 的情况下,数据发送到 leader 后 ,部分 ISR 的副本同步,leader 此时挂掉。比如 follower1 和 follower2 都有可能变成新的 leader, producer 端会得到返回异常,producer 端会重新发送数据,数据可能会重复 另外, 在高阶消费者中,offset 采用自动提交的方式, 自动提交时,假设 1s 提交一次 offset 的更新,设当前 offset = 10,当消费者消费了 0.5s 的数据,offset 移动了 15,...原创 2020-07-29 23:00:29 · 1733 阅读 · 2 评论 -
极简单系列-kafka 生产的可靠性
(1)指明 partition 的情况 直接按指定的(2)没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值;(3)既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后 面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。– 需要有个 .原创 2020-07-29 22:44:43 · 140 阅读 · 0 评论 -
极简单系列-kafka 存储
每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset,以便出错恢复时,从上次的位置继续消费。存储的设计由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位效率低下,Kafka 采取了分片和索引机制,将每个 partition 分为多个 s.原创 2020-07-29 22:21:46 · 112 阅读 · 0 评论 -
极简单系列-kafka 基本原理
简单来说 这就是今天的全部内容了。生产者 生产消息到 集群,集群存储消息,消费者消费具体要谈里边的原理 需要先了解几个概念topicTopic可以理解为一个队列,生产者和消费者面向的都是一个 topicPartition分区。这是一个物理概念。一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列;为了实现扩展性,一个非常大的 topic 可以分布到多个 服务器上,也就是我发送多条消息 ,这些消息可能会实际落到不同的分区上存储。消息1 存到了分区原创 2020-07-29 22:15:31 · 147 阅读 · 0 评论 -
极简单系列-kafka 简介
一、简介二、基本原理三、消息的存储四、详解producer工作流程五、详解consumer工作流程六、扩展简介Apache Kafka 起初是 LinkedIn 开发的系统,用于他们内部 需要高吞吐处理日志的场景。随后于2011年初开源,2012 年成为 Apache孵化出站一个项目。这个项目 提供了消息的订阅与发布,用作系统间解耦、异步通信、削峰填谷等。同时也提供了Kafka stream插件包实现了实时在线流处理。今天我们主要 讨论kafka 作为消息队列的这部分的内容 ,在消息队列原创 2020-07-29 21:46:17 · 154 阅读 · 1 评论 -
极简单系列-kafka 前序
极简单系列-kafka 概述重要性重要性我从钱上举个例子。这是美国人才市场的数据 美国一个大型职业招聘网站它说在 10 大 薪资最高的技术技能中,掌握 Kafka 以平均每年 12.8 万美元排名第二。这个网站每年会有排名,按照 技术岗位 的薪资范畴排名,也会按照这些人 要掌握的技能进行排名。说白了 就是掌握这个技能能挣更多的钱吧不过一般网上的信息真假难辨。为了保证 这次文章的严谨性 我就去查了查。确实有些偏差 不过差距不大。实际上排名第一。感觉那个卖课网站一点也不专业。而且大家都知原创 2020-07-29 21:37:23 · 108 阅读 · 0 评论