Spark DataFrame简述和遇到的问题

之前在写Spark Driver程序的时候，因为使用的DataFrame来进行的相关操作，所以今天就总结一下用到的一些东西，同时也分享一下自己遇到的一些问题，让新人能够快速的解决相关的问题.虽然最新的Spark Sql把DataFrame变成了DataSet，但是DataFrame和DataSet这两个操作其实都类似。

DataFrame

DataFrame其实就是带了元数据的RDD,大家在学习Spark之前肯定了解RDD,RDD其实是一个抽象数据块集合。DataFrame就是带了列的RDD，简单粗暴的理解。一般使用的时候，先初始化SparkContext,然后在初始化SQLContext,然后通过初始化的SQLContext来进行读取外部的数据源，具体可以调用sqlContext.read.后面的方法，下面的代码只是读取了json文件的数据，你也可以使用sqlContext.read.别的方法来进行读取数据。

val context = new SparkContext(new SparkConf().setAppName("hello"))]

val sqlContext = new SQLContext(context)