Spark Streaming之：三、DStream转换

最新推荐文章于 2024-05-07 20:40:36 发布

落落free

最新推荐文章于 2024-05-07 20:40:36 发布

阅读量1.5k

点赞数 1

分类专栏：大数据阶段 # Spark 文章标签： Spark Streaming 大数据 spark

本文链接：https://blog.csdn.net/qq_39394264/article/details/90721719

版权

a. 是Spark streaming数据的表现形式

b. DStream上的原语分为Transformation（转换）和output opration（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及各种Window相关的原语。

c. DStream的转换操作
在这里插入图片描述

DStream 的转化操作可以分为无状态(stateless)和有状态(stateful)两种。

在无状态转化操作中，每个批次的处理不依赖于之前批次的数据。常见的 RDD 转化操作，例如： map()、filter()、reduceByKey() 等，都是无状态转化操作。
相对地，有状态转化操作需要使用之前批次的数据或者是中间结果来计算当前批次的数据。有状态转化操作包括基于滑动窗口的转化操作和追踪状态变化的转化操作。

（1）无状态转换操作
无状态转化操作就是把简单的 RDD 转化操作应用到每个批次上，也就是转化 DStream 中的每一个 RDD。部分无状态转化操作列在了下表中。注意，针对键值对的 DStream 转化操作(比如 reduceByKey())要添加import StreamingContext._ 才能在 Scala中使用。

①. 需要记住的是，尽管这些函数看起来像作用在整个流上一样，但事实上每个 DStream 在内部是由许多 RDD(批次)组成，且无状态转化操作是分别应用到每个 RDD 上的。例如， reduceByKey() 会归约每个时间区间中的数据，但不会归约不同区间之间的数据。
②. 举个例子，在之前的wordcount程序中，我们只会统计1秒内接收到的数据的单词个数，而不会累加。
③. 无状态转化操作也能在多个 DStream 间整合数据，不过也是在各个时间区间内。例如，键值对 DStream 拥有和 RDD 一样的与连接相关的转化操作，也就是 cogroup()、

关注