kafka日志格式和分区

一.kafka分区
1.生产者把日志写到哪个分区是客户端决定的
客户端有一个partition分配器，正常情况下，如果没有指定key的话，消息会随机写到主题的N个分区中去.如果指定了key的话，会根据key进行hash到某个特定的分区中去

2.和es不同，kafka可以随意增加分区数量，对于不指定key的生产者客户端来说，增加分区数量没有任何副作用，对于指定key的生产者来说，此时相同的key有可能写到不同的分区中

二.分区副本的具体日志格式：
1.一个分区副本对应一个目录结构：里面包含多个SegmentLog日志段，每个SegmentLog都包含data.log,offset.index,timestamp.index 这几个文件，其中第一个存放具体的消息内容，第二个偏移量索引文件存放偏移量和具体消息位置的对应关系，第三个时间戳索引文件存放消息时间戳和消息偏移量的对应关系
2.从具体的日志内容可知：kefka客户端可以根据偏移量定位到指定的消息位置开始消费，也可以根据时间戳定位到指定的消息位置开始消费,对应方法：Map<TopicPartition,OffsetAndTimeStamp> offsetsForTimes(Map<TopicPartition,Long> timestampsToSearch)