SparkSQL之创建DataFrame

def main(args: Array[String]): Unit = {
  val conf = new SparkConf().setMaster("local").setAppName("ScalaDataFrame")
  val sc = new SparkContext(conf)
  val sqlContext = new SQLContext(sc)
  val listRDD = sc.parallelize(List("zhangsan 13 168.5", "lisi 14 175.3", "wangwu 15 176.3"))

  //    createDataFrame_1(listRDD, sqlContext)
  //    createDataFrame_2(listRDD, sqlContext)
  //    createDataFrame_3(listRDD, sqlContext)
  createDataFrame_4(listRDD, sqlContext)
  sc.stop()
}

/**
  * 将一个DataFrame注册成为一张临时表，在临时表上面执行sql的操作，方便我们的查询等操作
  */
def createDataFrame_4(listRDD: RDD[String], sqlContext: SQLContext) = {
  /**
    * 因为我们要使用sql的方式来操作SparkSQL对应的DataFrame
    * 应该把该DataFrame转化成为一张表，所以需要注册该DataFrame成为系统中的一张临时表
    */
  val df = createDataFrame_3(listRDD, sqlContext)
  df.registerTempTable("person")
  /**
    * 注册成为一张临时表之后，直接进行sql的操作，
    * 使用SQLContext，而不是df进行操作
    */

  val sqlDF = sqlContext.sql("select name, age, height from person where age > 14")
  sqlDF.show()
}

/**
  * 使用SQLContext的隐士转化快速将一个RDD转化为一个DataFrame
  */
def createDataFrame_3(listRDD: RDD[String], sqlContext: SQLContext): DataFrame = {
  import sqlContext.implicits._
  //这个隐士转换必须要有
  val rowRDD = listRDD.map(line => {
    val splits = line.split(" ")
    val name = splits(0).trim
    val age = splits(1).trim.toInt
    val height = splits(2).trim.toDouble
    (name, age, height)
  })
  /**
    * 第三中创建DataFrame的方式，使用sqlContext内部的一个隐士转换，
    * 增强普通RDD的功能
    * rdd.toDF(cols:String*)
    * col是对该rdd中所包含的数据的一个说明，简单认为就是转化为DataFrame之后给每个列
    * 起的一个列名
    */
  val df = rowRDD.toDF("name", "age", "height")
  //    df.printSchema()
  //    df.show()
  df
}

def createDataFrame_2(listRDD: RDD[String], sqlContext: SQLContext): Unit = {
  val personRDD: RDD[Person] = listRDD.map(line => {
    val splits = line.split(" ")
    val name = splits(0).trim
    val age = splits(1).trim.toInt
    val height = splits(2).trim.toDouble
    new Person(name, age, height)
  })

  /**
    * scala中通过反射的方式将一个RDD，转换为一个DataFrame
    * 在java中获取一个类的字节码Class对象，直接类名.class
    * 在scala中需要通过classOf[类名]的方法
    */
  val df = sqlContext.createDataFrame(personRDD, classOf[Person])
  df.printSchema()

  df.show()
}

/**
  * 在代码中动态生成DataFrame
  */
def createDataFrame_1(listRDD: RDD[String], sqlContext: SQLContext): Unit = {
  //---->将RDD---->DataFrame来进行一个操作
  val rowRDD: RDD[Row] = listRDD.map(line => {
    val splits = line.split(" ")
    val name = splits(0).trim
    val age = splits(1).trim.toInt
    val height = splits(2).trim.toDouble
    Row(name, age, height)
  })
  //通过动态编码的方式
  val structType = StructType(Array(
    StructField("name", DataTypes.StringType, true),
    StructField("age", DataTypes.IntegerType, true),
    StructField("height", DataTypes.DoubleType, true)
  ))
  val df = sqlContext.createDataFrame(rowRDD, structType)
  df.show()
}