作用:如果Kafka中没有初始偏移或者当前偏移在服务器上不再存在时(例如,因为该数据已被删除)的处理方法。
Kafka单独写consumer时
可选参数:
- earliest:自动将偏移重置为最早的偏移量
- latest:自动将偏移量重置为最新的偏移量(默认)
- none:如果consumer group没有发现先前的偏移量,则向consumer抛出异常。
- 其他的参数:向consumer抛出异常(无效参数)
参考:
http://kafka.apache.org/documentation/
和SparkStreaming整合时:
注意:和SparkStreaming整合时,上面的可选参数是无效的,只有两个可选参数:
- smallest:简单理解为从头开始消费,其实等价于上面的 earliest
- largest:简单理解为从最新的开始消费,其实等价于上面的 latest
注:Spark的版本为1.6
不知道为什么要不一样 -_-