Spark SQL - 简介

目录

1. 概念介绍

2. Spark SQL与Hive的区别

3. 数据结构分类

4. 特点

4.1 易整合

4.2 统一的数据访问方式

4.3 兼容hive

4.4 提供标准的数据连接

5 Spark的数据模型介绍

---

1. 概念介绍

sparkSQl是spark专门针对结构化数据(DataFrame和DataSets)处理的一个组件，可以快速简单的处理结构化数据，他可以加载结构化数据，将其映射成表，利用SQL进行数据处理

sparkSQL 其实是对spark-core处理结构化数据的底层原理进行了封装
底层的物理执行计划还是spark-core的执行过程

2. Spark SQL与Hive的区别

hive是单独的一个组件，他的执行过程是：

提交SQL --> 语法解析校验 --> 生成逻辑执行计划 --> 绑定元数据 --> 优化逻辑代码 --> 生成物理执行计划(MR)

• Shark

  • 运行的模式是hive on spark

  • 会将hivesql转换为spark的rdd

  • shark是基于hive开的，维护麻烦，2015年停止维护

• sparkSQL

  • 是spark团建独立开发的工具，2014年发布1.0版本

  • sparkSQL工具对spark的兼容性更好，优化性能得到提升

  • sparkSQL本质也是将sql语句转化为rdd执行，catalyst引擎负责将sql转化为rdd

  • sparkSQL可以连接使用hive的metastore服务，管理表的元数据

3. 数据结构分类

• 结构数据（DataFrame)

  • 就是表结构数据，有行列组成，并且描述了数据的属性（字段）和类型，表信息

  • String int

• 半结构化数据 spark中可以通过方法将半结构化数据转化为结构化数据(DataFrame)

  • xml和json

  • 描述数据的存储结构，但是无法描述数据的类型

<name>zhansan</name>
<age>18</age>
{
name:zhangsan
}

• 非结构化数据 rdd可以处理

  • 文本，图片，视频

4. 特点

4.1 易整合

sparkSQL 可以在spark的编程中，将SQL和算子进混合使用，使编程更加的灵活

val res = spark.sql("select * from tb_user")
res.map()

4.2 统一的数据访问方式

sparkSQL为各种不同类型的数据源提供统一的访问方式，可以跨各类数据源进行join，支持的数据源如：csv，tcv(tab键作为分隔符)，hive，Avro，Parquet，orc(列式存储文件格式，本身就是有结构的)，json，jdbc

• 使用read方法可以读取hdfs数据，mysql数据，不同类型的文件数据（json,csv,orc)

• 使用write方法可以写入hdfs，mysql不同类型的文件

4.3 兼容hive

sparkSQL支持hiveSQL语法以及hive的SerDes，UDFs，并且允许访问已经存在的hive数仓数据

4.4 提供标准的数据连接

sparkSQL的server模式，可以为各类bi工具提供标准的JDBC、ODBC连接

 SparkSQL可以看做一个转换层，向下对接各种不同的结构化数据源，向上提供不同的数据访问方式

5 Spark的数据模型介绍

spark封装一个基础数据模型（数据类型）rdd

然后根据rdd进行再次封装，得到新的数据类型 dataframe

然后根据dataframe再次封装得到了dataset类型

 

• rdd 弹性分布式集合 使用python,java,scala,c,R.

[1,zhangsan,20,2,lisi,22]

• Dataframe 类型 结构化数据 行列，表信息（数据的属性（字段）和类型） 使用python,java,scala,c,R

  • row类 行数据 rdd中一个列表元素

  • schema类 表信息

[
row1=[1,zhangsan,20],
row2=[1,lisi,22]
]
schema
{
id:int,
name:string,
age:int
}

• datasets类型 结构化数据 java,scala

  • row类 一行数据 一个dataframe

  • schema类 表信息

  • 从dataset中取出一行数据可以当作dataframe类型操作

[
row1=[1,zhangsan,20],
row2=[1,lisi,22]
]
schema
{
id:int,
name:string,
age:int
}

row1 可以当做dataframe进行操作