spark streaming 读取kafka的offset

转载 2016年08月30日 13:41:40

在使用Spark streaming读取kafka数据时,为了避免数据丢失,我们会在zookeeper中保存kafka的topic对应的partition的offset信息(每次执行成功后,才更新zk中的offset信息);从而保证执行失败的下一轮,可以从特定的offset开始读。


http://blog.csdn.net/rongyongfeikai2/article/details/50727661

spark streaming读取kafka数据,记录offset

如下是pom.xml文件

spark streaming 自定义kafka读取topic的offset(python)

使用createDirectStream 来自定义设置读取的offset。

Spark Streaming +Kafka 使用底层API直接读取Kafka的Partition数据,手动更新Offset到Zookeeper集群

Spark Streaming  +Kafka 使用底层API直接读取Kafka的Partition数据,正常Offset存储在CheckPoint中。但是这样无法实现Kafka监控工具对Kafka的...
  • Dax1n
  • Dax1n
  • 2016年11月30日 20:22
  • 3761

Spark Streaming createDirectStream保存kafka offset(JAVA实现)

问题描述(http://blog.csdn.net/xueba207/article/details/50381821) 最近使用spark streaming处理kafka的数据,业务数据...
  • BDCHome
  • BDCHome
  • 2016年09月05日 11:00
  • 1268

Spark Streaming 中使用kafka低级api+zookeeper 保存 offset 并重用 以及 相关代码整合

spark streaming 使用 kafka低级api维护offset 在
  • kk303
  • kk303
  • 2016年10月09日 15:39
  • 1981

spark streaming从指定offset处消费Kafka数据(第一种方式)

spark streaming从指定offset处消费Kafka数据

spark streaming 通过zookeeper读取kafka上的数据

maven 依赖如下 org.apache.spark spark-core_2.11 2.0.2 ...
  • iture
  • iture
  • 2016年12月12日 15:29
  • 255

Spark Streaming 中使用 zookeeper 保存 offset 并重用 Java版

最近中使用spark Streaming +kafka,由于涉及到金额,所以需要保证at only one,而网上关于java版的kafka offset回写zk的资料少之又少,于是总结一下,希望可以...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark streaming 读取kafka的offset
举报原因:
原因补充:

(最多只允许输入30个字)