SparkStreaming中使用DataFrame和SQL操作

一.简介

可以轻松地对流数据使用DataFrames和SQL操作。StreamingContext和其使用的SparkContext必须来自同一个SparkSession。以便可以在驱动程序故障时重新启动它。这是通过创建SparkSession的延迟实例化单例实例来完成的。在下面的示例中，修改了前面的单词计数示例，以使用DataFrames和SQL生成单词计数。每个RDD都转换为一个DataFrame，注册为临时表，然后使用SQL查询。

二.代码实战

package spark2.streaming

import org.apache.log4j.{
   Level, Logger}
import org.apache.spark.sql.SparkSession
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

/**
  * 实时统计
  * Created by Administrator on 2020/07/13.
  */
object WordCountByForeachRDD {
   
  Logger.getLogger(