2、创建DataFrame的方式

2019独角兽企业重金招聘Python工程师标准>>>

#1：DataFrame其实它是通过RDD的map方法读取每一条数据，然后把他存到“case class”中。最后通过这个RDD的toDF方法产生的。 #由于case class 中有属性字段，而且这些字段的类型都有了，是不是就是表结构？？

#2:可以通过sqlContext.read.format("jdbc").options(）创建DataFrame（详情笔记三）

#如何创建？代码如下

package com.liufu.org.sql

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by liufu on 2016/11/18.
  */
object DataFrameTest {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName("dataframTest").setMaster("local[2]")
    val sc: SparkContext = new SparkContext(conf)
    //创建SQLContext
    val sqlContext = new SQLContext(sc)

    //读取外部数据，并且切割成每一条信息,形成arr数组。
    val spilted: RDD[Array[String]] = sc.textFile("file:///E:/words.txt").map(_.split(" "))

    //这里的操作很容易出错，
    //当map中的逻辑很复杂的时候，一般不建议使用“_”来代替每一个数据，
    // 而是使用“函数体”的形式来一步一步的操作实现。
    val personRDD: RDD[Person] = spilted.map(valueArr => Person(valueArr(0),valueArr(1).toInt))

    /**
      * 导入隐式转换，如果不到人无法将RDD转换成DataFrame
      * 将上述有RDD和case class产生的personSet变化成DataFrame。
      */
    import sqlContext.implicits._
    val dF: DataFrame = personRDD.toDF()

    //将DataFrame注册成表结构才能够使用SQL进行操作。
    dF.registerTempTable("person")

    //使用sqlContext执行sql语句进行查询操作。
    val selectDF: DataFrame = sqlContext.sql("select * from person")
    selectDF.show()

    sc.stop()
  }
}

//通过样例类来定义表结构。还可以通过structType产生一个shema的方式，但是太麻烦一般不怎么用
case class Person(name:String,age:Int)

#总结： 使用DataFrame的流程

• 1：RDD的map方法中将信息写入到Person样例类中，这样数据就和表结构关联起来了。

    val personRDD: RDD[Person] = spilted.map(valueArr => Person(valueArr(0),valueArr(1).toInt))
  

• 2：将RDD转化为DataFrame。注意：一定要引入sqlContext的隐式转换。

      /**
      * 导入隐式转换，如果不到人无法将RDD转换成DataFrame
      * 将上述有RDD和case class产生的personSet变化成DataFrame。
      */
    import sqlContext.implicits._
    val dF: DataFrame = personRDD.toDF()
  

• 3：将DataFrame注册成表，因为只有注册成表之后才能够使用sql语句来查询

    dF.registerTempTable("person")
  

• 4：利用sqlContext对象来执行SQL语句来对表进行操作。

    val selectDF: DataFrame = sqlContext.sql("select * from person")
    //展示。 
    selectDF.show()
  

• 5：//将结果以JSON的方式存储到指定位置

    df.write.json("file:///E:/output1")
  

转载于:https://my.oschina.net/liufukin/blog/795805