spark创建DF的两种方式

方式一：反射：(使用这种方式来创建DF是在你知道字段具体有哪些) 1.创建一个SparkContext，然后再创建SQLContext 2.先创建RDD，对数据进行整理，然后关联case class，将非结构化的数据转换成结构化数据 3.显示的调用toDF方法，将RDD转换成DF（需要隐私转换） 4.注册临时表 5.执行SQL(Transformation,lazy) 6.zhixAction val conf = new SparkConf().setAppName("df").setMaster("local")     val sc = new SparkContext(conf)     val sqlContext = new SQLContext(sc)     //创建一个普通RDD     val rdd = sc.textFile("G:\\qf大数据\\spark\\day06_sql\\students.txt")     val student: RDD[Student] = rdd.map(x => {       val sp = x.split(" ")       Student(sp(0).toInt, sp(1), sp(2).toInt)     })     import sqlContext.implicits._     val df: Dat