Spark SQL和DataFrame的本质

1， Spark SQL和DataFrame（DataSet，还没有深度去使用）

2， DataFrame与RDD

3， 企业级最佳实践

一：Spark SQL和DataFrame

1， Spark SQL是除了Spark Core以外最大的和最受关注的组件。

a) 其更加强大，可以操作各种数据来源和各种格式的数据；用户可以扩展Spark SQL的功能来支持更多类型的数据（例如Kudu）。

b) Spark SQL把数据仓库的计算能力推向了新的高度。不仅是无敌的计算速度（尤其是在Tungsten成熟以后会更加无可匹敌，Spark SQL比shark快至少一个数量级，而Shark比Hive快至少一个数量级），更为重要的是把数据仓库的计算复杂度推向了历史上全新的高度（Spark SQL后续推出的DataFrame可以让数据仓库直接使用机器学习、图计算等复杂的算法库来对数据仓库进行复杂深度数据价值的挖掘）；

c) Spark SQL（DataFrame、DataSet）不仅是数据仓库的引擎，而且也是数据挖掘的引擎，更为重要的是Spark SQL是数据科学计算和分析引擎！！！

d) 后来的DataFrame让Spark（SQL）一举成为大数据计算引擎的技术实现霸主（尤其是在Tungsten的强力支持下）！

e) Hive+Spark SQL+DataFrame，过去绝大部分公司都是这个解决方案。

i：Hive负责廉价的数据仓库存储

ii：Spark SQL负责高速的计算

iii：DataFrame负责复杂的数据挖掘（DataFrame是一个新的API，不是Spark SQL）

二：DataFrame和RDD

1，R和Python中都有DataFrame，Spark中的DataFrame从形式上看最大的不同点是其天生是分布式的；你可以简单的认为Spark中的DataFrame是一个分布式的Table。

1. RDD和DataFrame的根本差异是：
   a） RDD是以Record为单位的，Spark在优化的时候无法洞悉Record内部的细节，所以也就无法进行更深度的优化，这极大的限制了Spark SQL性能提升！
   b） DataFrame包含了每个Record的Metadata信息，也就是说DataFrame的优化是基于列内部的优化，而不是像RDD一样只能够基于行进行优化。

三：Spark SQL企业级最佳实践

第二阶段：JavaEE加数据库，瓶颈数据库不能分布式(扩展性)，企业只能处理局部数据，数据过滤然后在数据库中。
第三阶段：数据局限导致Hive，Hive计算能力有限，出现速度性能问题。
第四阶段：Hive转向Spark SQL+Hive，计算能力是一个问题。
第五阶段：Hive+Spark SQL+DataFrame
第六阶段：Hive+Spark SQL+DataFrame+DataSet
领先的处在第五个阶段，大部分处在第三个和第四个阶段。