Spark流编程指引（五）-----------------------------DStreams上的转换操作

最新推荐文章于 2021-09-24 10:19:52 发布

self-motivation

最新推荐文章于 2021-09-24 10:19:52 发布

阅读量3.8k

点赞数

分类专栏：大数据文章标签： hadoop spark 大数据 spark 分布式 scala 机器学习

本文链接：https://blog.csdn.net/happyAnger6/article/details/46685789

版权

大数据专栏收录该内容

22 篇文章 0 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Spark流编程中的DStreams转换操作，包括UpdateStateByKey、Transform和Window。UpdateStateByKey允许维护并更新状态，Transform可以应用机器学习算法，Window操作则支持滑动窗口计算。文章通过实例详细解释了这些概念，并强调了配置checkpoint目录的重要性。

摘要由CSDN通过智能技术生成

与RDDs类似，转换操作允许对来自输入DStreams的数据进行修改。DStreams支持许多在通常Spark RDD上的转换操作。下面是一些常见的：

转换	含义
map(func)	Return a new DStream by passing each element of the source DStream through a functionfunc.
flatMap(func)	Similar to map, but each input item can be mapped to 0 or more output items.
filter(func)	Return a new DStream by selecting only the records of the source DStream on whichfunc returns true.
repartition(numPartitions)	Changes the level of parallelism in this DStream by creating more