#1:DataFrame其实它是通过RDD的map方法读取每一条数据,然后把他存到“case class”中。最后通过这个RDD的toDF方法产生的。 #由于case class 中有属性字段,而且这些字段的类型都有了,是不是就是表结构??
#2:可以通过sqlContext.read.format("jdbc").options()创建DataFrame(详情笔记三)
#如何创建?代码如下
package com.liufu.org.sql
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by liufu on 2016/11/18.
*/
object DataFrameTest {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setAppName("dataframTest").setMaster("local[2]")
val sc: SparkContext = new SparkContext(conf)
//创建SQLContext
val sqlContext = new SQLContext(sc)
//读取外部数据,并且切割成每一条信息,形成arr数组。
val spilted: RDD[Array[String]] = sc.textFile("file:///E:/words.txt").map(_.split(" "))
//这里的操作很容易出错,
//当map中的逻辑很复杂的时候,一般不建议使用“_”来代替每一个数据,
// 而是使用“函数体”的形式来一步一步的操作实现。
val personRDD: RDD[Person] = spilted.map(valueArr => Person(valueArr(0),valueArr(1).toInt))
/**
* 导入隐式转换,如果不到人无法将RDD转换成DataFrame
* 将上述有RDD和case class产生的personSet变化成DataFrame。
*/
import sqlContext.implicits._
val dF: DataFrame = personRDD.toDF()
//将DataFrame注册成表结构才能够使用SQL进行操作。
dF.registerTempTable("person")
//使用sqlContext执行sql语句进行查询操作。
val selectDF: DataFrame = sqlContext.sql("select * from person")
selectDF.show()
sc.stop()
}
}
//通过样例类来定义表结构。还可以通过structType产生一个shema的方式,但是太麻烦一般不怎么用
case class Person(name:String,age:Int)
#总结: 使用DataFrame的流程
-
1:RDD的map方法中将信息写入到Person样例类中,这样数据就和表结构关联起来了。
val personRDD: RDD[Person] = spilted.map(valueArr => Person(valueArr(0),valueArr(1).toInt))
-
2:将RDD转化为DataFrame。注意:一定要引入sqlContext的隐式转换。
/** * 导入隐式转换,如果不到人无法将RDD转换成DataFrame * 将上述有RDD和case class产生的personSet变化成DataFrame。 */ import sqlContext.implicits._ val dF: DataFrame = personRDD.toDF()
-
3:将DataFrame注册成表,因为只有注册成表之后才能够使用sql语句来查询
dF.registerTempTable("person")
-
4:利用sqlContext对象来执行SQL语句来对表进行操作。
val selectDF: DataFrame = sqlContext.sql("select * from person") //展示。 selectDF.show()
-
5://将结果以JSON的方式存储到指定位置
df.write.json("file:///E:/output1")