kafka
大数据小蜗牛
大家好,我是大数据小蜗牛,博主会不定期在博客上更新在大数据开发的过程中遇到的问题以及解决方案,大家喜欢的话点击关注哦!!!
展开
-
关于 structuredstreaming消费kafka中的异常汇总
本人的spark是2.2.4的,kafka是0.10的,遇到了以下问题,后续会持续更新 1、Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Failed to find data source: kafka. Please find pac...原创 2019-01-11 18:18:12 · 1613 阅读 · 6 评论 -
kafka0.9之前和之后管理偏移量的变化
在Kafka0.9版本之前消费者保存的偏移量默认是在zookeeper中/consumers/GROUP.ID/offsets/TOPIC.NAME/PARTITION.ID。也可以保存到mysql等其他工具中。0.9之后消费者不在保存偏移量到zookeeper中,而是kafka本身管理消费者的偏移量,kafka将偏移量保存在一个内部主题中“__consumer_offsets”,该主题默认有50...转载 2019-01-25 15:34:17 · 765 阅读 · 0 评论 -
kafka0.10版本consumer的精确一次消费topic问题(sparkstreaming等程序重启后如何从原位置继续消费)
首先先给大家看一下kafka的三个重要的属性 下面是这三个属性的组合以及分别表示的意义 一、(enable.auto.commit:false) + (auto.offset.reset:latest): 在Broker到Consumer之间实现了至多一次语义,因为不使用Kafka提供的自动保存offset功能,每次应用程序启动时,都是从Topic的末尾位置来获取消息。也就是说,应用...原创 2019-01-29 12:33:57 · 1420 阅读 · 2 评论