Kafka获取文件源码跟踪

目录

1、执行步鄹

2、结果展现

学习kafka提前参考：

Kafka文件的存储机制

http://blog.csdn.net/silentwolfyh/article/details/55095146

Kafka：无丢失提取kafka的值，详解kafka的消费过程

http://blog.csdn.net/silentwolfyh/article/details/54891764

---

---

1、执行步鄹

1）代码整体查看以及源码地址
2）获取topic下面block中Partition的Offset
3）通过Offset转为OffsetRange 对象
4）通过KafkaUtils.createRDD[String, String, StringDecoder, StringDecoder](sc, kafkaParams, offsetRanges)转为RDD

1）代码整体查看以及源码地址

2）获取topic下面block中Partition的Offset

val req = OffsetRequest(reqMap) 代码调试

val resp = consumer.getOffsetsBefore(req) 代码调试

val respMap = resp.partitionErrorAndOffsets

3）通过Offset转为OffsetRange 对象

4）通过KafkaUtils.createRDD[String, String, StringDecoder, StringDecoder](sc, kafkaParams, offsetRanges)转为RDD

2、结果展现

北京小辉微信公众号

大数据资料分享请关注