本文探讨了如何在Spark数据流中进行合并和分支操作。通过使用`union`函数展示了批量数据和流数据的合并过程，并通过示例解释了如何实现数据流的假分支和可能的真正分支策略，如挂接多个Sink。
spark数据流（data flow）的合并可以通过union来实现。
先测试一下批量数据（batching data）的union：
scala> Seq("1","2","3","4").toDS.union(Seq("a","b","c","d").toDS).show
+-----+
|value|
+-----+
| 1|
| 2|
| 3|
| 4|
| a|
| b|
| c|
| d|
+-----+再来测试一下流数据（streaming data）的union：
val lines1 = spark.readStream.format("socket").option("host", "localhost")
最低0.47元/天 解锁文章
扫一扫
1433
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
