spark2.1 新特性

最新推荐文章于 2023-06-09 09:36:35 发布

wisgood

最新推荐文章于 2023-06-09 09:36:35 发布

阅读量891

点赞数

分类专栏： spark 文章标签： spark spark2.0 spark新特性

spark 专栏收录该内容

65 篇文章 0 订阅

订阅专栏

Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改进。在性能方面，Spark 2.x 有2~10倍的提升；在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升， 在不久的将来，Dataframe/Dataset API（high-level API）将取代RDD API（low-level API），成为主流的Spark编程接口。

Apache Spark 2.x在性能和功能方面的改进主要包括：

1. 性能方面

相比于Spark 1.0，Spark 2.0在引擎性能方面有重大优化，其优化主要体现在Spark Core和Spark SQL两个系统上，其优化主要得益于Tungsten计划（“钨丝计划”），其主要动机是优化Spark内存和CPU的使用，使其能够逼近物理机器的性能极限。

利用“整阶段代码生成”（“whole stage code generation”），使得SQL和DataFrame中算子性能优化2-10倍
通过“向量化计算”提升Parquet格式文件的扫描吞吐率
提升ORC格式文件的读写性能
提升Catalyst查询优化器性能

2. 功能方面

（1）Spark Core/SQL:Tungsten Phase 2，优化CPU与Memory方面

“钨丝计划”完成第二阶段任务，在内存和CPU使用方面进一步优化Spark引擎性能，重构了大量数据结构和算法的实现，使得Dataframe/Dataset性能得到显著提升，这使得Dataframe/Dataset有能力成为其他几个系统（比如Spark Streaming和MLlib）的基础API。

注：“钨丝计划”包括三个方面的优化：

Memory Management and Binary Processing： Java GC严重，且java对象内存开销大，可采用类似C语言机制，直接操纵binary data（sun.misc.Unsafe）
Cache-aware Computation：合理使用CPU的L1/L2/L3 cache，设计对cache友好的算法
Code Generation：可去除条件检查，减少虚函数调度等

（2）Spark SQL: 统一DataFrame与Dataset API

众所周知，在Spark 1.x中，DataFrame API存在很多问题，包括不是类型安全的(not type-safe)，缺乏函数式编程能力（not object-oriented）等，为了克服这些问题，社区引入了Dataset，相比于DataFrame，它具有以下几个特点：类型安全，面向对象编程方式；支持非结构化数据（json）；java与scala统一接口和性能极好的序列化框架等，她将成为Spark未来主流的编程接口（RDD API是low-level API，而Dataset则是high-level API）。

（3）Spark SQL：支持SQL 2003

Spark SQL在通用性方面有重大突破，它跑通了所有（99个）TPC-DS查询，并有以下几个改进：

解析器可同时支持ANSI-SQL 和Hive QL
实现了DDL
支持大部分子查询
支持View

（4）Spark Streaming：引入Structured Streaming

Spark Streaming基于Spark SQL（DataFrame / Dataset ）构建了high-level API，使得Spark Streaming充分受益Spark SQL的易用性和性能提升。Spark Streaming重构的API主要是面向结构化数据的，被称为“Structured Streaming”，其主要特性包括：