【Structured Streaming】处理文本数据

• 前言

在之前的学习中我们学习已经学习了如何用Structured Streaming处理Socket数据，今天我们来学习如何用Structured Streaming处理文本数据

 

• 扩展

spark应用可以监听某一个目录，而web服务在这个目录上实时产生日志文件，这样对于spark应用来说，日志文件就是实时数据

Structured Streaming支持的文件类型有text，csv，json，parquet

 

• 准备工作

在people.json文件输入如下数据

注意:文件必须是被移动到目录中的，且文件名不能有特殊字符

{"name":"json","age":23,"hobby":"running"}
{"name":"charles","age":32,"hobby":"basketball"}
{"name":"tom","age":28,"hobby":"football"}
{"name":"lili","age":24,"hobby":"running"}
{"name":"bob","age":20,"hobby":"swimming"}

 

• 代码

需求：使用Structured Streaming统计年龄小于25岁的人群的爱好排行榜

//创建SparkSession
val spark: SparkSession = SparkSession.builder().appName("test01").master("local[*]").getOrCreate()

//设置日志级别
spark.sparkContext.setLogLevel("WARN")

//设置表结构
val structType: StructType = new StructType()
  .add("name", "string")
  .add("age", "integer")
  .add("hobby", "string")

//读取数据
//json：参数必须是文件夹，不能是指定文件
val datas: DataFrame = spark.readStream.schema(structType).json("C:\\Users\\86132\\Desktop\\111")

//根据业务逻辑进行数据处理
import spark.implicits._
val hobbys: Dataset[Row] = datas.filter($"age" < 25).groupBy($"hobby").count().sort($"count".desc)


//计算结果输出
//format：表示数据输出到哪里
//outputMode：表示输出哪些数据
//trigger：触发器
//start：开启任务
//awaitTermination：等待关闭
hobbys.writeStream
  .format("console")
  .outputMode("complete")
  .trigger(Trigger.ProcessingTime(0))
  .start()
  .awaitTermination()

 

本次的干货已经分享完毕，如有什么改进的意见记得私信小编哦。