Spark大数据-structured streaming

structured streaming概述

• structured streaming引入持续流处理模式，真正支持毫秒级别响应。spark streaming无法满足毫秒级响应。2.2正式发布。
• 重新抽象流式计算，基于DataFrame数据抽象。易于exactly-once（所有数据只被处理一次），以前的spark为at-least once(所有数据至少处理一次)。
  
  

1.structured streaming基于套接字流数据源

1.创建SparkSession实例；
2.创建DataFrame表示从数据源输入的每一行数据；
3.DataFrame转换，类似于RDD转换操作；
4.创建StreamingQuery开启流查询；
5.调用StreamingQuery.awaitTermination()方法，等待流查询结束。

import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
// 创建sparksession
val spark=SparkSession.builder.appName("StructuredNetWorkCount").getOrCreate()
import spark.implicits._//开启隐式转换
// val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
// val sc = new SparkContext(conf)
// 创建dataframe数据源
val lines=spark.readStream.format("socket").option("host","localhost").option("port",9999).load()
// DataFrame转化操作
val words=lines.as[String].flatMap(_.split(" "))
val wordCounts=words.groupBy("value").count()
// 执行流查询
val query=wordCounts.writeStream.outputMode("complete").format("console").start()
query.awaitTermination()

2.structured streaming基于文件数据源

import org.apache.spark.sql.SparkSession
// 创建sparksession
val spark=SparkSession.builder.appName("StructuredFileCount").getOrCreate()
import spark.implicits._//开启隐式转换
// 创建DataFrame
import org.apache.spark.sql.types._
val userSchema=new StructType().add("name","string").add("age","integer").add("hobby","string")
val userDF=spark.readStream.schema(userSchema).json("file:///home/chenbengang/ziyu_bigdata/quick_learn_spark/resource/")
val userlittler25DF=userDF.filter($"age"<25)
val hobbyDF=userlittler25DF.groupBy("hobby").count()
val query = hobbyDF.writeStream.outputMode("complete").format("console").start()
query.awaitTermination()