Spark Streaming的 离散流（DStreams）上的转换、连接操作

离散流（DStreams）的简介：

离散流或DStream是Spark Streaming提供的基本抽象。它表示连续的数据流，可以是从源接收的输入数据流，并把数据分组为小的批次。也可以是通过转换输入流生成的已处理数据流，每个输入批次都形成一个RDD序列，每个RDD代表数据流中的一个时间片内的数据。如下图所示，DStream中的每个RDD都包含一定时间间隔内的数据。

一、连接操作

流流连接

流可以很容易地与其他流合并。两个流文件产生两个新的窗口流文件。

代码：

[root@cos1000 bin]# spark-shell 
20/02/12 20:18:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
20/02/12 20:19:04 WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
Spark context Web UI available at http://cos1000:4041
Spark context available as 'sc' (master = local[*], app id = local-1581509945225).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.0.0-preview2
      /_/
         
Using Scala version 2.12.1