Kafika

最新推荐文章于 2024-07-18 11:08:52 发布

慧梦之旅

最新推荐文章于 2024-07-18 11:08:52 发布

阅读量249

点赞数

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/qq_35330159/article/details/115340162

版权

1 篇文章 0 订阅

订阅专栏

kafka 是由LinkedIn开发的分布是消息系统，kafka使用Scala实现，被用作LinkedInde的活动和运营数据处理管道，现在也被诸多互联网企业广泛地用作数据流管道和消息系统
Kafka是基于消息发布-订阅模式实现的消息系统，其主要设计目的如下

Broker kafka集群包含一个或多个服务器，这些服务器被称为Broker
Topic 主题，逻辑上同Rabbit Mq的队列相识，每条发布到Kafka集群的消息都必须有一个Topic。（物理上不同的Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个Broker上，但用户只需指定消息的Topic即可生产消息或消费消息，而不用关系消息存于何处）
Partition partition是物理概念上的分区，为了提供系统的吞吐率，在物理上每个Topic会分成一个或多个Partition，每个Partation对应一个文件夹（存储分区的消息内容和索引文件）
Producer 消息消费者，负责生产消息并发送到Kafka Broker上。
Consumer 消息消费者，向Kafka Broker读取消息并处理消息。
Consumer Group 消费者组，每个Consumer都属于特定的组（可为每个Consumer指定属于一个组，若不指定者属于默认组），组可以用来实现一条消息被组内多个成员消费等功能。

在kafka中会将每个topic中的数据进行分区（分区的数据量根据分区数来定），每个分区的的数据都可以有对应的备份数量（备份的数量由分区因子来定）。
在kafka集群中，会指定一台Broker负责一个分区读于写（Leader），其他存储分区副本的Broker（Follower）可以负责数据的读取，但不能进行数据的写入。

在Kafka中每个消费者都必然属于某一个消费者组，如果消费者没有指定所属的消费者组
kafka对消费者的管理是按组管理的，如果一个消费者组订阅了某个topic，那么kafka首先会根据消费者组的的消费者数量进行分配，topic中某分区的数据由，消费者组的某个消费者消费，其该分区的消息的数据只会被该消费者消费，不会被其他消费者消费即，同一topic中的某个分区的消息，对与同一分组的消费者来说，只能被该分区的莫一个消费者消费。（一个消费者可能同时消费多个分区的消息，但一个分区的消息只能被一个消费者消费），这样就可以保证同一消费者组中，不存在消息的重复消费。

顺序写 kafka在将数据持久化到磁盘时，为了避免磁盘写入数据时的随机写入，使用了顺序写的方式，来避免磁盘来回寻道而带来的性能开销
内存页映射文件Memory Mapped Files(mmap) kafka在接收到用户发来的消息时，并不是立即写入到磁盘中，而时在内核空间中开辟一个内存空间，将数据写入到这个内存空间中就算是写入完成，具体什么时候将数据写到磁盘，由系统内核来管理，这样就可以保证，数据的持久化接近于内存的数据写入。

关注