![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
hadoove
这个作者很懒,什么都没留下…
展开
-
Kafka offset管理
Kafka offset管理 消费者在消费的过程中需要记录自己消费了多少数据,即消费 Offset。Kafka Offset 是Consumer Position,与 Broker 和 Producer 都无关。每个 Consumer Group、每个 Topic 的每个Partition 都有各自的 Offset,如下图所示。 通常由如下几种 Kafka Offset 的管理方式: S...原创 2019-01-10 09:40:37 · 6053 阅读 · 0 评论 -
Spark Streaming Kafka
Spark Streaming 可以⽀持多种数据源,但目前最常用的还是 Kafka 作为数据源。 Spark Streaming的kafka编程主要包括两种模型 1.基于Receiver模式 2.Direct(无Receiver)模式 基于Receiver (spark-streaming-kafka-0-10以上已不支持) 这种方式利用接收器(Receiver)来接收kafk...原创 2019-01-16 10:50:56 · 330 阅读 · 0 评论 -
spark streaming与kafka整合
Spark 2.2和2.3支持0.8和0.10两种Kafka API,而且0.8版本的API可以和Kafka Broker 0.9 及0.10兼容,但0.10版本的API不能与Kakka 0.8兼容。两个版本Kafka API的功能对比如下: 由此可知,相对于0.8版本,Kafka API 0.10版本的主要变化在于: 1)只支持Direct DStream 的连接模式,基于Receive...原创 2019-01-30 09:07:49 · 680 阅读 · 0 评论