kafka 不同分区文件存储_走近kafka-文件存储

在上一节中我们说到topic，它是用来存储一类消息的，每个topic内部实现又被分成多个partition，每个partition在存储层面是segment文件,每个segment分别由index file和data file组成。

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。

把消息日志以Partition的形式存放有多重考虑，第一，方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；第二就是可以提高并发，因为可以以Partition为单位读写了。

我们先说这个partition，在这里也有leader的概念，producer只能与partition leader通信，partition leader再将数据复制给其它的partition(同一个topic下)partition leader负责维护ISR(in-sync-replica)，当producer往broker发送消息，消息先写入到对应leader分区上，然后复制到这个分区的所有副本中。只有将消息成功复制到所有同步副本(ISR)后，这条消息才算被提交成功。(这里涉及到复制机制和在ISR删除滞后replica策略，我们留在以往在说)

每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。

每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。

顺序读写的效率远远高于随机读写，这是操作系统决定，极大提升磁盘利用率，这样的速度最接近与在内存操作。

Segment file由index file和data file组成，后缀分别为”.index”和”.log”，表示segment索引文件、数据文件。

Segment文件命名规则:partition全局的第一个Segment从0开始，后续每个segment文件名为上一个Segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，长度不够0来凑。

Segment中index与data file对应关系物理结构如下 :

上图中索引文件存储大量元数据，数据文件存储大量消息(Message****)，索引文件中元数据指向对应数据文件中message的物理的偏移地址。

其中以索引文件中元数据3，497为例，依次在数据文件中表示第3个message(在全局partition表示第368772个message)该文件的offset就是368772

Segment data file由许多message组成，下面看看message物理结构：

参数说明：

有个问题：在partition中如何通过offset查找message?

例如读取offset=368776的message，需要通过下面2个步骤查找。

· 第一步查找segment file

上述图2为例，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件 00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找 文件列表，就可以快速定位到具体文件。

当offset=368776时定位到00000000000000368769.index|log

· 第二步通过segment file查找message通过第一步定位到segment file，当offset=368776时，依次定位到00000000000000368769.index的元数据物理位置和 00000000000000368769.log的物理偏移地址，然后再通过00000000000000368769.log顺序查找直到 offset=368776为止。

segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它 比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

向partition写入消息示意图：

我们可以看到，Partition是一个Queue的结构，每个Partition中的消息都是有序的，生产的消息被不断追加到Partition上，其中的每一个消息都被赋予了一个唯一的offset值。

Kafka集群会保存所有的消息，不管消息有没有被消费；我们可以设定消息的过期时间，只有过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天，那么这2天内的所有消息都会被保存到集群中，数据只有超过了两天才会被清除。

Kafka只维护在Partition中的offset值，因为这个offsite标识着这个partition的message消费到哪条了。Consumer每消费一个消息，offset就会加1。其实消息的状态完全是由Consumer控制的，Consumer可以跟踪和重设这个offset值，这样的话Consumer就可以读取任意位置的消息。

Kafka提供了两套consumer api，分为high-level api和sample-api。Sample-api 是一个底层的API，它维持了一个和单一broker的连接，并且这个API是完全无状态的，每次请求都需要指定offset值，因此，这套API也是最灵活的。

在kafka中，当前读到哪条消息的offset值是由consumer来维护的，因此，consumer可以自己决定如何读取kafka中的数据。比如，consumer可以通过重设offset值来重新消费已消费过的数据。不管有没有被消费，kafka会保存数据一段时间，这个时间周期是可配置的，只有到了过期时间，kafka才会删除这些数据。

High-level API封装了对集群中一系列broker的访问，可以透明的消费一个topic。它自己维持了已消费消息的状态，即每次消费的都是下一个消息。

High-level API还支持以组的形式消费topic，如果consumers有同一个组名，那么kafka就相当于一个队列消息服务，而各个consumer均衡的消费相应partition中的数据。若consumers有不同的组名，那么此时kafka就相当与一个广播服务，会把topic中的所有消息广播到每个consumer。

High level api和Low level api是针对consumer而言的，和producer无关。

High level api是consumer读的partition的offsite是存在zookeeper上。High level api 会启动另外一个线程去每隔一段时间，offsite自动同步到zookeeper上。换句话说，如果使用了High level api， 每个message只能被读一次，一旦读了这条message之后，无论我consumer的处理是否ok。High level api的另外一个线程会自动的把offiste+1同步到zookeeper上。如果consumer读取数据出了问题，offset也会在zookeeper上同步。因此，如果consumer处理失败了，会继续执行下一条。这往往是不对的行为。因此，Best Practice是一旦consumer处理失败，直接让整个conusmer group抛Exception终止，但是最后读的这一条数据是丢失了，因为在zookeeper里面的offset已经+1了。等再次启动conusmer group的时候，已经从下一条开始读取处理了。

Low level api是consumer读的partition的offsite在consumer自己的程序中维护。不会同步到zookeeper上。但是为了kafka manager能够方便的监控，一般也会手动的同步到zookeeper上。这样的好处是一旦读取某个message的consumer失败了，这条message的offset我们自己维护，我们不会+1。下次再启动的时候，还会从这个offset开始读。这样可以做到exactly once对于数据的准确性有保证。

下一节我会重点说明一下topic分配partition和partition replica的算法以及消息投递的可靠性