SparkStreaming与SparkSql整合使用

最新推荐文章于 2024-07-24 22:35:05 发布

ChanKamShing

最新推荐文章于 2024-07-24 22:35:05 发布

阅读量1.3k

点赞数

分类专栏：大数据 Spark

本文链接：https://blog.csdn.net/weixin_39400271/article/details/102530856

版权

本文介绍了如何在SparkStreaming应用中整合SparkSql，通过创建SparkSession单例对象实现DStream与DataFrame的交互。首先，讲解了SparkSession的创建及其在SparkStreaming中的重要性，确保一致性。接着，展示了在应用程序中进行wordCount操作的具体步骤。

摘要由CSDN通过智能技术生成

SparkStreaming的数据是DStream的形式，本质上是RDD类型数据，而SparkSql则是DataFrame的数据类型，所以要使用DataFrame，就需要创建SparkSession会话。SparkStreaming和SparkSession的创建都会用到SparkConf，为了一致性，所以两者需要公用一个SparkConf。

一、创建一个SparkSession的单例对象文件

package com.cjs

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object SparkSessionSingleton {
    @transient private var instance:SparkSession = _

    def getInstance(conf:SparkConf)={
        if (instance==null) {
            instance = SparkSession
                .builder()
                .config(conf)
                .getOrCreate()
        }
        instance
    }

}

Spark程序中，一个Application不允许多个active SparkContext，SparkContext只会在Driver中得main函数中声明并初始化, 也就是说只会在Driver所在节点的一个进程内构造，从而保证getInstance获取的是同一个SparkSession。