Spark SQL与DataFrame

Spark SQL是2013年出现的，数据的多维分析。

Spark SQL是除了Spark Core 以外最大的和最受关注的组件：

1.处理一切存储介质和各种格式的数据（同时可以扩展Spark SQL来支持更多类型的数据，例如KUDU），

2.Spark SQL把数据仓库的计算能力推向了新的高度，不仅是计算速度（Spark SQL比Shark快了至少一个数量级，而Shark比Hive快了至少一个数量级，尤其是在Tungsten成熟以后更牛），更重要的是将数据仓库的计算复杂度推向了新的高度（Spark SQL后续推出的DataFrame可以把数据仓库直接使用机器学习、图计算等复杂的算法库来对数据仓库进行复杂深度数据价值的挖掘）

3.Shark 依赖的Hive不是官网版本是改造后的，版本维护非常麻烦。

4.Spark SQL(DataFrame、DataSet)不仅是数据仓库的引擎，也是数据挖掘的引擎，更为重要的是数据科学计算和分析的引擎。