SparkSQL概念
- SparkSQL是Spark的一个模块,SparkSQL是非常成熟的一项技术,是一款处理海量结构化数据的框架。SparkSQL可以支持SQL语言,性能强,自动优化,API接口简单方便,兼容Hive等功能。SparkSQL日常工作业务有:离线开发、数仓搭建、科学计算、数据分析。
SparkSQL特点
- 融合性:SQL可以无缝集成在代码中, 随时用SQL处理数据。
- 统一数据访问:一套标准API可读写不同数据源。
- Hive兼容:可以使用SparkSQL直接计算并生成Hive数据表。
- 标准化连接:支持标准化JDBC\ODBC连接, 方便和各种数据库进行数据交互。
SparkSQL与Hive之间的比较
-
相同点:两者都是分布式SQL计算引擎,都可以运行Yarn上。
-
不同点:
- SparkSQL:内存计算、无元数据管理、SQL代码混合执行、底层运行架构为SparkRDD。
- Hive:磁盘迭代计算、元数据管理、仅SQL开发、底层运行架构为MapReduce。
-
在企业中虽然Hive技术依旧居多,但是作为性能强于Hive的SparkSQL,在未来将会代替Hive成为分布式SQL计算的主流。
SparkSQL的数据抽象
- SparkSQL是二维表数据结构,有三类数据抽象对象:
- SchemaRDD(已废弃)
- DataSet:可用于Java和Scala语言。
- DataFrame:可用于Java、Scala、Python。
SparkSession对象
-
在Spark2.0之后,推出了SparkSession对象,作为Spark编码的统一入口对象。SparkSession对象既可以用于SparkSQL编程、又可以用于SparkCore RDD编程,主要是通过SparkSession对象获取SparkContext方法。
-
如何通过代码创建SparkSession对象:
# 构建SparkSession对象, 这个对象是 构建器模式 通过builder方法来构建
# appName设置程序名称, master设置运行模式、config设置一些常用属性
# getOrCreate()方法,创建SparkSession对象
ss = SparkSession.builder \
.appName("test") \
.config("spark.sql.shuffle.partitions", "3") \
.master("local[*]") \
.getOrCreate()
# 通过SparkSession对象去获取SparkContext对象
sc = ss.sparkContext