Spark SQL之IDEA中的应用

QYHuiiQ

已于 2022-11-20 20:07:17 修改

阅读量695

点赞数

分类专栏：大数据之Spark 文章标签： spark sql

于 2022-11-20 19:51:20 首次发布

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/127950708

版权

大数据之Spark 专栏收录该内容

19 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

该博客介绍了如何在IDEA中使用Spark SQL进行数据处理。内容包括在pom文件中添加Spark SQL依赖，创建并操作JSON数据，以及实现和运行自定义函数，每个步骤都配以运行结果展示。

摘要由CSDN通过智能技术生成

pom中添加依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.0.0</version>
</dependency>

Test 1

package test.wyh.sql

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object TestSQL {

  def main(args: Array[String]): Unit = {
    //创建SparkSQL的运行环境
    val sparkSQLConf = new SparkConf().setMaster("local[*]").setAppName("testSparkSQL")
    val sparkSession = SparkSession.builder().config(sparkSQLConf).getOrCreate()

    //DataFrame
    val df = sparkSession.read.json("raw_data/student.json")
    df.show()

  }
}

创建student.json：