Spark SQL多数据源交互

最新推荐文章于 2024-04-25 14:36:29 发布

柯希莫

最新推荐文章于 2024-04-25 14:36:29 发布

阅读量250

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/qq_43718871/article/details/105488129

版权

本文详细探讨了如何使用Spark SQL进行数据的读取和写入操作，涵盖了多种数据源的交互，包括从不同数据存储中读取数据以及将处理后的数据保存到指定位置。通过实例展示了Spark SQL的强大功能。

摘要由CSDN通过智能技术生成

写数据

package WR_source

import java.util.Properties

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{
   DataFrame, SaveMode, SparkSession}
import spark_sql.SparkSqlFanShe.Person

object WriteSource {
   
  def main(args: Array[String]): Unit = {
   
    //创建sparkSession
    //通过sparkSession创建SparkContext
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName