kafka消息处理类:MessageAndOffset
case class MessageAndOffset(message: Message, offset: Long) { /** * Compute the offset of the next message in the log */ def nextOffset: Long = offset + 1 }
其主构造方法的参数offset:是这条message上一条的offset =》 lastOffset = messageAndOffset.offset();
其主构造方法的参数message:是需要处理的消息,其offset=lastOffset+1 = messageAndOffset.nextOffset()
lastOffset (即MessageAndOffset.offset)是已经消费过的offset数据(可能是无效message的offset)
kafka consumer 消费数据是通过lastOffset来处理消息message (message.offset=lastOffset+1)
通过lastOffset来判断是否有未处理的数据,若有消息pull下来,封装在MessageAndOffset(message,lastOffset)中
kafka offset是从1开始计数,0是没有数据
创建topic时,创建partition文件,topic没有数据,定义其lastOffset=0,文件名是0
partition的文件名称是以存入数据的第一条message的lastOffset做为文件名
//从zookeeper中获取,获得的是订阅者消费过的offset(即是当前message的lastOffset); //message对应的真实offset是(lastOffset+1) Long offset = kafkaOffset.getOffset(leadBroker, i); //获得是最旧有效message的lastOffset;可能是通过文件名成来获取的(待源码校验) Long et= kafkaOffset.getEarliestOffset(consumer,i); //topic的最新offset,是有效值。 Long ft= kafkaOffset.getLatestOffset(consumer,i);
代码实现:
for (MessageAndOffset messageAndOffset : fetchResponse.messageSet(topic, partition)) { long lastOffset = messageAndOffset.offset(); if (lastOffset < readOffset) { log.warn("Topic:" + topic + " and Partition:" + partition + "Found an old offset: " + lastOffset + " Expecting: " + readOffset); continue; } //lastOffset是上次已经消费过的message.offset //每个message的真实offset=(lastOffset+1) readOffset = messageAndOffset.nextOffset(); ByteBuffer payload = messageAndOffset.message().payload(); byte[] bytes = new byte[payload.limit()]; payload.get(bytes); JSONObject value = JSONObject.parseObject(new String(bytes, "utf-8")); list.add(value); }