Kafka源码分析-目录(收藏关注不迷路)

持续更新中,敬请关注!

目录

《Kafka源码分析》系列文章计划按“数据传递”的顺序写作,即:先分析生产者,其次分析Server端的数据处理,然后分析消费者,最后再补充部分事务和流式计算相关内容。

一. 概述

介绍Kafka的背景、定位、基本思想及原理以及源码结构等内容。

二. 生产者

分析生产者的线程模型、压缩机制等方面内容。

三. Server端-消息存储

承接上一篇生产者文章,分析Producer发来的消息在Server端是如何存的。
涉及业务模型、文件结构等方面内容。

四. Server端-请求处理框架

分析Server端是处理请求的流程。至此,承接上文,我们不仅知道消息时如何发送和存储,
也知道了在这两步之间请求是如何被处理的。

五. Server端 - 基于时间轮的延时组件

Kafka内部很多业务流程涉及"延时"操作,这里给大家单独分析分析。

六. Server端-可靠性保证 (Writing)

通过上面文章,我们已知道生产者->Server端存储的完整流程。接下来分析已存好的消息数据如何不丢。涉及"集群管理"和"副本机制"等方面内容。

七. 消费者 (待写作)

分析消费者消息拉取的流程、Rebalance机制等方面内容。

八. 事务机制 (待写作)

补充分析Kafka的事务机制。

九. 流式计算 (待写作)

扣题。早期Kafka的slogan是"More than a mq",那我们的就分析分析其流式计算方面的内容。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
kafka是一个分布式的流处理平台,它可以处理和存储大规模的实时数据流。kafka-run-class是kafka提供的一个脚本工具,用于在命令行中执行指定的类。kafka.tools.GetOffsetShell是用于获取指定topic在指定时间点的偏移量信息的工具。 具体来说,kafka.tools.GetOffsetShell通过指定topic、时间点和broker列表来获取该topic在指定时间点的偏移量。它的用法类似于以下命令: ``` bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic <topic> --time <timestamp> --broker-list <broker-list> --partitions <partitions> ``` 其中,<topic>是要查询的topic名称,<timestamp>是要查询的时间点,<broker-list>是broker的地址列表,<partitions>是要查询的分区编号。该命令会返回指定topic在指定时间点的偏移量信息。 另外,kafka.tools.ConsumerOffsetChecker是kafka提供的另一个工具,用于检查消费者的偏移量信息。它可以通过指定zookeeper连接、消费者组和topic来获取消费者的偏移量信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [kafka监控命令kafka-run-class.sh查看消费了多少条数据](https://blog.csdn.net/m0_37739193/article/details/73849523)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [kafka_2.9.2-0.8.2.1.tgz](https://download.csdn.net/download/shy_snow/9372309)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值