Spark SQL|Spark,从入门到精通

本文详细介绍了Spark SQL的发展历程、接口、Dataframe/Dataset API、基本操作、分区与排序、SQL编程、用户自定义函数以及数据源的使用。通过实例展示了Spark SQL如何读写数据、执行优化以及自定义优化器和执行计划。此外,还涵盖了与Hive的兼容性和使用Hive元数据的方法。
摘要由CSDN通过智能技术生成
Spark SQL 在 Hive 兼容层面仅依赖 HQL parser、Hive Metastore 和 Hive SerDe。也就是说,从 HQL 被解析成抽象语法树(AST)起,就全部由 Spark SQL 接管了。

Spark SQL|Spark,从入门到精通

 

 

发家史

熟悉 Spark SQL 的都知道,Spark SQL 是从 Shark 发展而来。Shark 为了实现 Hive 兼容,在 HQL 方面重用了 Hive 中 HQL 的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从 MR 作业替换成了 Spark 作业(辅以内存列式存储等各种和 Hive 关系不大的优化);同时还依赖 Hive Metastore 和 Hive SerDe(用于兼容现有的各种 Hive 存储格式)。

Spark SQL 在 Hive 兼容层面仅依赖 HQL parser、Hive Metastore 和 Hive SerDe。也就是说,从 HQL 被解析成抽象语法树(AST)起,就全部由 Spark SQL 接管了。执行计划生成和优化都由 Catalyst 负责。借助 Scala 的模式匹配等函数式语言特性,利用 Catalyst 开发执行计划优化策略比 Hive 要简洁得多。成都加米谷大数据培训机构,大数据开发数据分析与挖掘,2019春节前报名学费特惠,详情见加米谷大数据官网。

Spark SQL|Spark,从入门到精通

Spark SQL

Spark SQL 提供了多种接口:

纯 Sql 文本;

dataset/dataframe api。

当然,相应的,也会有各种客户端:

sql 文本,可以用 thriftserver/spark-sql;

编码,Dataframe/dataset/sql。


Dataframe/Dataset API 简介

Dataframe/Dataset 也是分布式数据集,但与 RDD 不同的是其带有 schema 信息,类似一张表。

可以用下面一张图详细对比 Dataset/dataframe 和 RDD 的区别:

Spark SQL|Spark,从入门到精通

 

Dataset 是在 spark1.6 引入的,目的是提供像 RDD 一样的强类型、使用强大的 lambda 函数,同时使用 Spark SQL 的优化执行引擎。到 spark2.0 以后,DataFrame 变成类型为 Row 的 Dataset,即为:

type DataFrame = Dataset[Row]

Spark SQL|Spark,从入门到精通

 

所以,很多移植 spark1.6 及之前的代码到 spark2+的都会报错误,找不到 dataframe 类。


基本操作

val df = spark.read.json(“file:///opt/meitu/bigdata/src/main/data/people.json”)

df.show()

import spark.implicits._

df.printSchema()

df.select("name").show()

df.select($"name", $"age" + 1).show()

df.filter($"age" > 21).show()

df.groupBy("age").count().show()

spark.stop()


分区分桶 排序

分桶排序保存hive表

df.write.bucketBy(42,“name”).sortBy(“age”).saveAsTable(“people_bucketed”)

分区以parquet输出到指定目录

df.write.partitionBy("favorite_color").format("parquet").save("namesPartByColor.parquet")

分区分桶保存到hive表

df.write .partitionBy("favorite_color").bucketBy(42,"name").saveAsTable("users_partitioned_bucketed")

cube rullup pivot

cube

sales.cube("city", "year”).agg(sum("amount")as "amount”) .show()

rull up

sales.rollup("city", "year”).agg(sum("amount")as "amount”).show()

pivot 只能跟在groupby之后

sales.groupBy("year").pivot("city",Seq("Warsaw","Boston","Toronto")).agg(sum("amount")as "amount”).show()


SQL 编程

Spark SQL 允许用户提交 SQL 文本,支持以下三种手段编写 SQL 文本:

1. spark 代码

2. spark-sql的shell

3. thriftserver

支持 Spark SQL 自身的语法,同时也兼容 HSQL。

1. 编码

要先声明构建 SQLContext 或者 SparkSession,这个是 SparkSQL 的编码入口。早起的版本使用的是 SQLContext 或者 HiveContext,spark2 以后,建议使用的是 SparkSession。

SQLContext

new SQLContext(SparkContext)

### 回答1: Spark SQLSpark生态系统中的一个组件,它提供了一种基于结构化数据的编程接口,可以让用户使用SQL语言来查询和分析数据。Spark SQL支持多种数据源,包括Hive、JSON、Parquet等,同时还支持使用DataFrame和Dataset API进行编程。要从入门到精通Spark SQL,需要掌握SQL语言的基础知识,了解Spark SQL的架构和数据模型,熟悉Spark SQL的API和函数库,以及掌握Spark SQL的性能优化技巧。此外,还需要了解Spark的其他组件,如Spark Core、Spark Streaming等,以便更好地使用Spark SQL进行数据处理和分析。 ### 回答2: Spark是一个快速的、可扩展的、通用的、基于内存的大数据处理框架。而Spark SQL则是Spark生态系统中的一个组件,提供了一种强大的数据处理工具,可以让用户使用SQL语言来查询结构化数据。本文将从入门到精通的角度介绍Spark SQL的基础概念和使用方法。 一、Spark SQL的核心概念 1.1 数据源(Data Sources) Spark SQL支持多种数据源,包括结构化数据文件(如JSON、CSV、Parquet等)、关系型数据库(如MySQL、PostgreSQL等)、非关系型数据库(如Cassandra、Hbase等)以及其他数据存储技术(如Apache Hive)。Spark SQL支持设计和实现自定义的数据源,用户可以根据自己的实际需要来实现相应的数据源。 1.2 DataFrame Spark SQL中最主要的数据结构是DataFrame,其提供类似于关系数据库表格的抽象,包含由命名列组成的规范化数据。Spark SQL的DataFrame可以与许多数据源进行交互,并且可以使用类SQL查询进行数据查询和过滤。读取数据后,Spark SQL会自动将数据解析成DataFrame,然后根据需要执行相关的计算和操作。 1.3 Dataset Spark 2.0之后引入了Dataset这个结构。它是DataFrame API的一个超集,提供强类型的编程接口。通过DataSet,用户可以在运行时捕获编译时错误,从而更容易地调试和维护代码。DataSet还支持常规的函数和Lambda表达式,既具有类型安全性,又提供了比传统RDD接口更高的性能。 1.4 SQLContext和SparkSession 在使用Spark SQL时,需要创建SQLContext对象或者使用SparkSession。SQLContext是Spark SQL早期版本的入口点。由于SparkSession提供了一些额外的功能(如创建DataFrame),因此在Spark 2.0之后,SparkSession成为一个更加优先的入口点。 二、使用Spark SQL 2.1 创建SparkSession 从Spark 2.0开始,SparkSession取代了SparkContext、SQLContext和HiveContext,用来作为访问Spark SQL的入口点。创建一个SparkSession示例的代码如下所示。 ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("myAppName").getOrCreate() ``` 2.2 加载和保存数据 在使用Spark SQL时,可以从文件或存储系统读取数据。例如,从CSV文件读取数据,代码如下所示: ```python from pyspark.sql.types import StructType, StructField, StringType, IntegerType #定义表结构 schema = StructType([ StructField("id", IntegerType()), StructField("name", StringType()), StructField("age", IntegerType()) ]) # 加载CSV文件 csv_file = spark.read.format('csv') \ .option('header', True) \ .schema(schema) \ .load('path/to/the/csv/file') ``` 2.3 DataFrame操作 在Spark SQL中,可以使用DataFrame API来操作数据。例如,对通过CSV文件加载的DataFrame进行筛选,代码如下所示: ```python from pyspark.sql.functions import col df.filter(col("age") < 30) ``` 2.4 SQL查询 Spark SQL提供了一个类SQL查询的API,可以通过在DataFrame上执行SQL查询以及创建临时视图来实现。例如,对通过CSV文件加载的DataFrame创建临时视图并执行SQL查询,代码如下所示: ```python #注册临时视图 csv_file1.createOrReplaceTempView("people") #执行SQL语句 result = spark.sql("SELECT name, age FROM people WHERE age < 30") ``` 三、总结 本文通过介绍Spark SQL的核心概念、DataFrame、DataSet、SQLContext、SparkSession、数据加载和保存、DataFrame操作以及SQL查询等内容,帮助读者全面地了解了Spark SQL的基础知识。同时,为了更好地运用Spark SQL,也需要结合实际应用场景,了解更多高级功能和代码实现细节。通过不断的实践,读者可以逐步提升自己的技能和经验,从入门到精通。 ### 回答3: Spark SQL 是 Apache Spark 的一部分,是基于分布式计算引擎 Spark 提供的 Apache Hive 兼容性 SQL 查询接口,它提供了构建 Spark 应用程序的高级 API 和分布式 SQL 查询引擎。Spark SQL 能够解析 SQL 语句、连接外部数据源、过滤数据、提供分组和聚合操作、支持多表关联和操作等功能。Spark SQL 的主要目的是简化 Spark 处理大规模结构化数据的过程,提高程序员的效率。 Spark SQL 提供了两种 API: 1. Spark SQL API:提供了与 Spark RDD 相似的编程接口,使用程序语言(如Python、Java和Scala)进行编写,支持编写 SQL 查询。 2. Spark SQL CLI(命令行界面):是使用 SQL 语言进行交互的用户界面。 Spark SQL 提供了多种方式来连接不同的数据源,其中包括 Hive、HBase、Cassandra、JSON、Parquet、ORC、JDBC、CSV 和 Elasticsearch 等。这些功能使得 Spark SQL 与现有的数据存储解决方案兼容,并支持对不同数据源的复杂查询和分析操作。 Spark SQL 还提供了两种用于分布式机器学习的库:MLlib 和 GraphX。MLlib 是 Spark 的机器学习库,提供了多种机器学习算法的实现,并且这些算法在 Spark SQL 中可以轻松使用。GraphX 是一个用于处理大型图形数据的图形处理库,它使用了 Spark 的分布式内存架构来使处理大型图像数据变得更容易。 总之,Spark SQL 作为 Spark 的重要组成部分,提供了简化大规模分布式数据处理的高级 API 和 SQL 查询引擎,使得程序员能够轻松地对结构化和半结构化的数据源进行处理,并且对于大量数据的分析具有高度的性能和可扩展性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值