kafka
kafka
普通网友
这个作者很懒,什么都没留下…
展开
-
kafka 源码分析02
06 | 请求通道:如何实现Kafka请求队列原创 2020-05-02 23:12:42 · 85 阅读 · 0 评论 -
kafka 源码分析01
01 | 日志段:保存消息文件的对象是怎么实现的?总的来说,Kafka 日志对象由多个日志段对象组成,而每个日志段对象会在磁盘上创建一组文件,包括消息日志文件(.log)、位移索引文件(.index)、时间戳索引文件(.timeindex)以及已中止(Aborted)事务的索引文件(.txnindex)。当然,如果你没有使用 Kafka 事务,已中止事务的索引文件是不会被创建出来的。图中的...原创 2020-05-01 23:25:47 · 157 阅读 · 0 评论 -
极客时间 Kafka核心技术与实战 学习笔记05
30 | 怎么重设消费者组位移?我们知道,Kafka 和传统的消息引擎在设计上是有很大区别的,其中一个比较显著的区别就是,Kafka 的消费者读取消息是可以重演的(replayable)。像 RabbitMQ 或 ActiveMQ 这样的传统消息中间件,它们处理和响应消息的方式是破坏性的(destructive),即一旦消息被成功处理,就会被从 Broker 上删除 ...原创 2020-05-01 15:22:42 · 1833 阅读 · 0 评论 -
极客时间 Kafka核心技术与实战 学习笔记04
23 | Kafka副本机制详解第一,在 Kafka 中,副本分成两类:领导者副本(Leader Replica)和追随者副本(Follower Replica)。每个分区在创建时都要选举一个副本,称为领导者副本,其余的副本自动称为追随者副本。第二,Kafka 的副本机制比其他分布式系统要更严格一些。在 Kafka 中,追随者副本是不对外提供服务的。这就是说,任何一个追随者副本...原创 2020-04-30 23:24:24 · 562 阅读 · 0 评论 -
极客时间 Kafka核心技术与实战 学习笔记03
16 | 揭开神秘的“位移主题”面纱Kafka 中神秘的内部主题(Internal Topic)__consumer_offsets。但是,ZooKeeper 其实并不适用于这种高频的写操作,因此,Kafka 社区自 0.8.2.x 版本开始,就在酝酿修改这种设计,并最终在新版本 Consumer 中正式推出了全新的位移管理机制,自然也包括这个新的位移主题 我们现在知道 Key...原创 2020-04-29 23:03:59 · 934 阅读 · 0 评论 -
极客时间 Kafka核心技术与实战 学习笔记02
11 | 无消息丢失配置怎么实现那 Kafka 到底在什么情况下才能保证消息不丢失呢?一句话概括,Kafka 只对“已提交”的消息(committed message)做有限度的持久化保证。 第一个核心要素是“已提交的消息”。什么是已提交的消息?当 Kafka 的若干个 Broker 成功地接收到一条消息并写入到日志文件后,它们会告诉生产者程序这条消息已成功提交。此时,这条消息在 ...原创 2020-04-28 23:03:51 · 856 阅读 · 0 评论 -
极客时间 Kafka核心技术与实战 学习笔记01
01 | 消息引擎系统ABC一个比较容易想到的是使用已有的一些成熟解决方案,比如使用 CSV、XML 亦或是 JSON;又或者你可能熟知国外大厂开源的一些序列化框架,比如 Google 的 Protocol Buffer 或 Facebook 的 Thrift。这些都是很酷的办法。那么现在我告诉你 Kafka 的选择:它使用的是纯二进制的字节序列。当然消息还是结构化的,只是在使用之前都要将其转...原创 2020-04-27 23:21:01 · 1122 阅读 · 0 评论 -
kafka 知识点01 必看
????Kafka 的主要特点?1、同时为发布和订阅提供高吞吐量。据了解,Kafka 每秒可以生产约 25 万消息(50MB),每秒处理 55 万消息(110MB)。 2、可进行持久化操作。将消息持久化到磁盘,因此可用于批量消费,例如 ETL ,以及实时应用程序。通过将数据持久化到硬盘,以及replication ,可以防止数据丢失。 3、分布式系统,易于向外扩展。所有的 Producer、B...原创 2020-06-12 22:44:47 · 151 阅读 · 0 评论