Kafka拉取某一个时间段內的消息

一般来说我们都使用Kafka来记录用户的操作记录以便后续分析。
但是通常使用的时候需要按天来统计每天的去重用户数、点击量之类的。
这个时候如果直接拉某个topic的数据的话，就需要判断每个消息的时间戳，还要兼顾把所有的Partition都拉完才能保证数据的完整。
因此如果能只拉取某一个时间段内的消息，就能极大的简化后续的处理逻辑。

拉取时段内消息实现

为了实现这个目的借助于根据时间戳获取Partition内部偏移的方法，获取两个时间点在Partition内部的偏移，然后从第一个时间点的偏移开始拉取指定Partition的消息，当偏移超过第二个时间点的偏移的时候取消订阅。逐个partition操作拉全topic所有的数据。

实验例子，python+confluence kafka
具体代码如下：

#coding=utf8

from confluent_kafka import Consumer, KafkaError, TopicPartition, Message
import datetime

conf = {
  'bootstrap.servers': 'xxx',
  'group.id': 'xxx',
  'session.timeout.ms': 6000,
  'security.protocol': 'SASL_PLAINTEXT',
  'sasl.mechanism' : 'PLAIN',
  'sasl.username': 'xxx',
  'sasl.password': 'xxx',
  'auto.offset.reset': 'earliest'
}

topic = 'topic'

consumer = Consumer(conf)

# 拉取昨天一天的数据，start_time、end_time这两个时间可以随便设置
now = datetime.datetime.now() - datetime.timedelta(days=1)
start_time = datetime.datetime.strptime(now.strftime('%Y-%m-%d 00:00:00'),'%Y-%m-%d %H:%M:%S')
end_time = datetime.datetime.strptime(now.strftime('%Y-%m-%d 23:59:59'),'%Y-%m-%d %H:%M:%S')

# 5 是partition的数量
for index in range(5):
  # 查询开始时间的针对于某个partition的偏移
  start_tps = [TopicPartition(topic, index, int(start_time.timestamp() * 1000))]
  start_offset = consumer.offsets_for_times(start_tps)
  # 查询结束时间的针对于某个partition的偏移
  end_tps = [TopicPartition(topic, index, int(end_time.timestamp() * 1000))]
  end_offset = consumer.offsets_for_times(end_tps)
  # 从拉取指定partition的offset开始拉取数据
  consumer.assign(start_offset)

  while True:
    try:
      msg = consumer.poll(1.0)
      if msg == None:
        break

      offset = msg.offset()
      if offset > end_offset[0].offset:
        # 如果超过当前partition的偏移之后不再继续订阅当前的topic
        consumer.unassign()
        break

      pass
    except:
      pass