第15课：Spark Streaming源码解读之No Receivers彻底思考本节课分享Spark Streaming源码解读之No Receivers彻底思考，企业级开发Spark Strea

最新推荐文章于 2020-11-21 20:19:53 发布

段智华

最新推荐文章于 2020-11-21 20:19:53 发布

阅读量687

点赞数

分类专栏： Spark Streaming SparkInBeiJing 文章标签： SparkStreaming 源码 spark Kafka

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/77919978

版权

SparkInBeiJing 同时被 2 个专栏收录

81 篇文章 203 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Spark Streaming

6 篇文章 1 订阅

订阅专栏

本文详细探讨了Spark Streaming中的No Receiver模式，解释了它如何提供更强的控制自由度和语义一致性。通过分析Spark 2.2.0和2.1.1版本的源代码，对比了Receiver与No Receiver方式的区别，特别是KafkaRDD和OffsetRange的角色。No Receiver模式下，直接操作数据源，避免了Receiver方式可能导致的缓存和内存管理问题，提高了性能和数据一致性。

摘要由CSDN通过智能技术生成

第15课：Spark Streaming源码解读之No Receivers彻底思考

本节课分享Spark Streaming源码解读之NoReceivers彻底思考，企业级开发Spark Streaming的程序越来越多的采用No Receiver的方式，No Receiver的方式有自己的优势，例如：更强的控制的自由度；语义一致性.....；

Spark Streaming支持2种方式：一种是Receiver的方式来接收数据的输入；一种是No Receiver的方式，也就是Direct Approach的方式，实质上讲，No Receiver的方式更符合我们读取数据和操作数据的思路，因为Spark本身是一个计算框架，作为一个计算框架，底层有数据来源，如果没有Receiver的方式，我们直接操作数据来源中的数据，这个是更天然更自然的方式。

如果要操作数据来源，肯定要一个封装器，那这个封装器是什么？是什么类型的？毫无疑问，是RDD类型的，Spark Streaming为这个事情推出了一个自定义的RDD（KafkaRDD），数据来源不同，对不同的数据源推出了不同的自定义的RDD。

offset是一个范围，就像HDFS中的数据，读取HDFS的目录，表面是一个目录，其实