kafka
凌萧子
昨夜西风凋碧树,独上高楼,望尽天涯路!
展开
-
Flink对接kafka自行管理offsets
Flink再接入kafka时候难免会遇到重复消费和少消费场景网上很多还没有flink的偏移量管理的好文档自行设置偏移量保存位置这里采用了zookeeper作为保存的地址,就是实时更新偏移量属性。再job挂掉后重新拉取偏移量保存下来就能一次消费啦,但真正做到一次消费必须和业务场景结合来做,比如事务。废话不多说啦,我本地实现了一个小demo先导入必要的pom <d...原创 2020-04-01 14:15:04 · 3150 阅读 · 4 评论 -
Spark-Streaming 和 Kafka 做实时计算需要注意的点
spark到kafka的消息消费--SparkKafkaDriverHAZooKeeperOps流式计算中最重要的消息的消费总结流式计算中最重要的消息的消费当我们使用spark做准实时计算的时候,很大场景都是和kafka的通信,总结下spark使用kafka的注意事项,下面上代码package com.aura.bigdata.spark.scala.streaming.p1impor...原创 2018-12-29 16:40:26 · 1633 阅读 · 2 评论