Spark SQL

// sparkSession封装了SparkContext和SQLContext
// 并且在builder的getOrCreate方法中判断是否符合要求的SparkSession存在
// 有则使用，没有则进行创建
val sparkSession = SparkSession.builder
      .master("local")
      .appName("spark session example")
      .enableHiveSupport()
      .getOrCreate()

# python
dataframe = spark.read.format("csv").option("header","true").csv('train.csv’)

RDD与DateFrame与DataSet

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

RDD

RDD就是一个分布式的无序的列表。
RDD中可以存储任何的单机类型的数据，但是，直接使用RDD在字段需求明显时，存在算子难以复用的缺点。
例如，现在RDD存的数据是一个Person类型的数据，现在要求所有每个年龄段（10年一个年龄段）的人中最高的身高与最大的体重。
使用RDD接口，因为RDD不了解其中存储的数据的具体结构，数据的结构对它而言是黑盒，于是这就需要用户自己去写一个很特化的聚合的函数来完成这样的功能。
而有了DataFrame，则框架会去了解RDD中的数据是什么样的结构的，用户可以说清楚自己对每一列进行什么样的操作，这样就有可能可以实现一个算子，用在多个列上，比较容易进行算子的复用。甚至，未来又要同时求出每个年龄段内不同的姓氏有多少个，则使用RDD接口，之前的函数需要改动很大才能满足需求，而使用DataFrame接口，则只需要添加对这一个列的处理，原来的max/min的相关列处理都可保持不变。
总而言之，DataFrame相关接口就是RDD的一个扩展，让RDD了解了RDD中存储的数据包含哪些列，并可以在列上进行操作。

DateFrame

DataFrame 是Spark SQL提供的一种特殊的RDD
dataframe 能够更方便的操作数据集，而且因为其底层是通过 spark sql 的 Catalyst优化器生成优化后的执行代码，所以其执行速度会更快。总结下来就是，使用 spark dataframe 来构建 spark app，能：
write less : 写更少的代码
do more : 做更多的事情
faster : 以更快的速度
另外，DataFrame基本上快要被Dataset接口取代了。

DataSet

https://www.iteblog.com/archives/1674.html
https://www.jianshu.com/p/77811ae29fdd

A Dataset is a strongly typed collection of domain-specific objects that can be transformed in parallel using functional or relational operations. Each Dataset also has an untyped view called a DataFrame, which is a Dataset of Row.

Dataset是特定域对象中的强类型集合，它可以使用函数或者相关操作并行地进行转换等操作。
每个Dataset都有一个称为DataFrame的非类型化的视图，这个视图是行的数据集。

DataSet和RDD主要的区别是：DataSet是特定域的对象集合；然而RDD是任何对象的集合。DataSet的API总是强类型的；而且可以利用这些模式进行优化，然而RDD却不行。

相比DataFrame，Dataset提供了编译时类型检查，对于分布式程序来讲，提交一次作业太费劲了（要编译、打包、上传、运行），到提交到集群运行时才发现错误，实在是想骂人，这也是引入Dataset的一个重要原因。
使用DataFrame的代码中json文件中并没有score字段，但是能编译通过，但是运行时会报异常！如下图代码所示
而使用Dataset实现，会在IDE中就报错，出错提前到了编译之前

优化器Catalyst