spark java dataframe_Spark DataFrame简介（一）

1. DataFrame

本片将介绍Spark RDD的限制以及DataFrame(DF)如何克服这些限制，从如何创建DataFrame，到DF的各种特性，以及如何优化执行计划。最后还会介绍DF有哪些限制。

2. 什么是 Spark SQL DataFrame?

从Spark1.3.0版本开始，DF开始被定义为指定到列的数据集(Dataset)。DFS类似于关系型数据库中的表或者像R/Python 中的data frame 。可以说是一个具有良好优化技术的关系表。DataFrame背后的思想是允许处理大量结构化数据。DataFrame包含带schema的行。schema是数据结构的说明。

在Apache Spark 里面DF 优于RDD，但也包含了RDD的特性。RDD和DataFrame的共同特征是不可性、内存运行、弹性、分布式计算能力。它允许用户将结构强加到分布式数据集合上。因此提供了更高层次的抽象。我们可以从不同的数据源构建DataFrame。例如结构化数据文件、Hive中的表、外部数据库或现有的RDDs。DataFrame的应用程序编程接口(api)可以在各种语言中使用。示例包括Scala、Java、Python和R。在Scala和Java中，我们都将DataFrame表示为行数据集。在Scala API中，DataFrames是Dataset[Row]的类型别名。在Java API中，用户使用数据集来表示数据流。

3. 为什么要用 DataFrame?

DataFrame优于RDD，因为它提供了内存管理和优化的执行计划。总结为一下两点：