Spark SQL DataFrame/Dataset介绍

Spark SQL DataFrame/Dataset介绍

   Spark的RDD API比传统的MapReduce API在易用性上有了巨大提升，但对于没有MapReduce和函数式编程经验的新手来说，RDD API还是有一定门槛的。

   在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。与RDD的主要区别在于：前者带有Schema元数据，即DataFrame所表示的二维表数据集的每一列都带有名称和类型，其结构如下图所示。

　　
　　上图直观展示了RDD和DataFrame的区别：左边的RDD[Person]虽然以Person为类型参数，但Spark架构本身不了解Person类的内部结构，而右边的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含那些列，每一列的名称和分类分别是什么，这和关系数据库中的物理表类似。有了这些元数据，Spark SQL的查询优化器就可以进行针对性的优化了。在Spark　SQL中引入DataFrame能带来如下好处：
1. 精简代码
2. 提升执行效率
3. 减少数据读取：
分析大数据最有效的方法就是忽略无关的数据，根据查询条件进行恰当的裁剪。对于一些比较“智能”的数据格式，Spark SQL可以根据数据文件中附带的统计信息进行剪枝。在这类数据格式中，数据是分段保存的，每段数据都带有最大值、最小值、NULL值数量等统计信息。