![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MQ
文章平均质量分 55
曲终人散121
努力。
展开
-
Kafka-------日志原理
ZK记录了主题与分区的关系0 客户端的消息集每个消息集偏移量,数据大小、数据内容等。Meeage。scala中1 日志结构一个分区定义个独立的目录,多个segment(默认1g)segment主要由3部分组成:索引文件:后缀为.index的文件;日志文件:后缀为.log的文件;时间戳索引文件:后缀为timeindex的文件。segment 文件命名规则:partition 全局的第一个 segment从 0 开始,后续每个 segment 文件名为上一个 segment文件最后一条消息原创 2021-05-13 08:47:16 · 158 阅读 · 0 评论 -
kafka --3 协调器
kafka-0.10 版本,引入协调器。1 Kafka 在服务端引入了**组协调器(GroupCoordinator),**每个 Kafka Server 启动时都会创建一个 GroupCoordinator 实例,用于管理部分消费者组和该消费者组下的每个消费者的消费偏移量。2 在客户端引入了消费者协调器(ConsumerCoordinator),实例化一个消费者就会实例化一个 ConsumerCoordinator 对象,ConsumerCoordinator 负责同一个消费者组下各消费者与服务端的原创 2021-04-24 23:09:51 · 127 阅读 · 0 评论 -
kafka--- 1 高效持久化日志和加快数据传输
1 顺序写顺序读写,磁盘会预读,预读即在读取的起始地址连续读取多个页面,主要时间花费在了传输时间。2 内存映射、零拷贝2.1 写加速内存映射。完成映射之后你对物理内存的操作会被同步到硬盘上(操作系统在适当的时候)。通过 mmap,进程像读写硬盘一样读写内存(当然是虚拟机内存),也不必关心内存的大。省去了用户空间到内核空间复制的开销。但也有一个很明显的缺陷——不可靠,写到 mmap 中的数据并没有被真正的写到硬盘,操作系统会在程序主动调用 Flush 的时候才把数据真正的写到硬盘。Kafka 提供原创 2020-12-17 01:32:10 · 294 阅读 · 0 评论 -
Kafka消息保留-清理策略
Kafka Broker默认的消息保留策略是:要么保留一定时间,要么保留到消息达到一定大小的字节数。当消息达到设置的条件上限时,旧消息就会过期并被删除,所以,在任何时刻,可用消息的总量都不会超过配置参数所指定的大小。topic可以配置自己的保留策略,可以将消息保留到不再使用他们为止。因为在一个大文件里查找和删除消息是很费时的事,也容易出错,所以,分区被划分为若干个片段。默认情况下,每个片段包含1G或者一周的数据,以较小的那个为准。在broker往leader分区写入消息时,如果达到片段上限,就关闭当转载 2020-11-10 00:51:05 · 3216 阅读 · 0 评论 -
kafka源码阅读
一、准备工作1.idea(安装过程略)2.jdk(安装过程略)https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html3.scala 安装配置下载:首先到Scala官网下载Scala网址为 https://www.scala-lang.org/download/安装默认就ok在系统环境变量 P...原创 2019-05-16 23:27:06 · 11398 阅读 · 0 评论