第1关:Structed streaming初体验
任务描述
本关任务:编写一个Structed Streaming版的WordCount。
相关知识
编程模式
假如你想从socket接收数据并将其输出到控制台,Structed streaming是这样做的:
创建Sparksession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder
.appName(“StructuredNetworkWordCount”)
.getOrCreate()
import spark.implicits._
创建流式DataFrame
val lines = spark.readStream
.format(“socket”)
.option(“host”, “localhost”)
.option(“port”, 9999)
.load()
启动流式查询
val query = lines.writeStream
.outputMode(“complete”)
.format(“console”)
.start()
等待停止指令
que