kafka offset 机制

kafka消息处理类：MessageAndOffset

case class MessageAndOffset(message: Message, offset: Long) {
    /**
   * Compute the offset of the next message in the log
   */
  def nextOffset: Long = offset + 1
}

其主构造方法的参数offset：是这条message上一条的offset  =》 lastOffset = messageAndOffset.offset(); 

其主构造方法的参数message：是需要处理的消息，其offset=lastOffset+1     =    messageAndOffset.nextOffset()

lastOffset (即MessageAndOffset.offset)是已经消费过的offset数据（可能是无效message的offset）

kafka  consumer 消费数据是通过lastOffset来处理消息message (message.offset=lastOffset+1)

通过lastOffset来判断是否有未处理的数据，若有消息pull下来，封装在MessageAndOffset(message,lastOffset)中

kafka offset是从1开始计数，0是没有数据

 

创建topic时，创建partition文件，topic没有数据，定义其lastOffset=0，文件名是0

partition的文件名称是以存入数据的第一条message的lastOffset做为文件名

//从zookeeper中获取，获得的是订阅者消费过的offset（即是当前message的lastOffset)；
//message对应的真实offset是(lastOffset+1)
Long offset = kafkaOffset.getOffset(leadBroker, i);
//获得是最旧有效message的lastOffset；可能是通过文件名成来获取的（待源码校验）
Long et=      kafkaOffset.getEarliestOffset(consumer,i);
//topic的最新offset，是有效值。
Long ft=      kafkaOffset.getLatestOffset(consumer,i);

代码实现：

for (MessageAndOffset messageAndOffset : fetchResponse.messageSet(topic, partition)) {
    long lastOffset = messageAndOffset.offset();
    if (lastOffset < readOffset) {
        log.warn("Topic:" + topic + " and Partition:" + partition + "Found an  old offset: " + lastOffset + " Expecting: " + readOffset);
        continue;
    }
    //lastOffset是上次已经消费过的message.offset
    //每个message的真实offset=（lastOffset+1）
     readOffset = messageAndOffset.nextOffset();
    ByteBuffer payload = messageAndOffset.message().payload();

    byte[] bytes = new byte[payload.limit()];
    payload.get(bytes);

    JSONObject value = JSONObject.parseObject(new String(bytes, "utf-8"));
    list.add(value);
}

​