spark streaming
hadoove
这个作者很懒,什么都没留下…
展开
-
Spark Streaming Kafka
Spark Streaming 可以⽀持多种数据源,但目前最常用的还是 Kafka 作为数据源。Spark Streaming的kafka编程主要包括两种模型1.基于Receiver模式2.Direct(无Receiver)模式 基于Receiver (spark-streaming-kafka-0-10以上已不支持)这种方式利用接收器(Receiver)来接收kafk...原创 2019-01-16 10:50:56 · 359 阅读 · 0 评论 -
spark streaming与kafka整合
Spark 2.2和2.3支持0.8和0.10两种Kafka API,而且0.8版本的API可以和Kafka Broker 0.9 及0.10兼容,但0.10版本的API不能与Kakka 0.8兼容。两个版本Kafka API的功能对比如下:由此可知,相对于0.8版本,Kafka API 0.10版本的主要变化在于:1)只支持Direct DStream 的连接模式,基于Receive...原创 2019-01-30 09:07:49 · 696 阅读 · 0 评论