Spark SQL是2013年出现的,数据的多维分析。
Spark SQL是除了Spark Core 以外最大的和最受关注的组件:
1.处理一切存储介质和各种格式的数据(同时可以扩展Spark SQL来支持更多类型的数据,例如KUDU),
2.Spark SQL把数据仓库的计算能力推向了新的高度,不仅是计算速度(Spark SQL比Shark快了至少一个数量级,而Shark比Hive快了至少一个数量级,尤其是在Tungsten成熟以后更牛),更重要的是将数据仓库的计算复杂度推向了新的高度(Spark SQL后续推出的DataFrame可以把数据仓库直接使用机器学习、图计算等复杂的算法库来对数据仓库进行复杂深度数据价值的挖掘)
3.Shark 依赖的Hive不是官网版本是改造后的,版本维护非常麻烦。
4.Spark SQL(DataFrame、DataSet)不仅是数据仓库的引擎,也是数据挖掘的引擎,更为重要的是数据科学计算和分析的引擎。