dataframe 取2列_2小时入门SparkSQL编程

一，RDD，DataFrame和DataSet

DataFrame参照了Pandas的思想，在RDD基础上增加了schma，能够获取列名信息。

DataSet在DataFrame基础上进一步增加了数据类型信息，可以在编译时发现类型错误。

DataFrame可以看成DataSet[Row]，两者的API接口完全相同。

DataFrame和DataSet都支持SQL交互式查询，可以和 Hive无缝衔接。

DataSet只有在Scala语言和Java语言的Spark接口中才支持，在Python和R语言接口只支持DataFrame，不支持DataSet。

二，创建DataFrame

1，通过toDF方法创建

可以将Seq,List或者 RDD转换成DataFrame。

2，通过CreateDataFrame方法动态创建DataFrame

可以通过createDataFrame的方法指定rdd和schema创建DataFrame。
这种方法比较繁琐，但是可以在预先不知道schema和数据类型的情况下在代码中动态创建DataFrame。

3，通过读取文件创建

可以读取json文件，csv文件，hive数据表或者mysql数据表得到DataFrame。