我是一个DataFrame，来自Spark星球

本文的开头，咱们正式给该系列取个名字了，就叫数据分析EPHS系列，EPHS分别是Excel、Python、Hive和SparkSQL的简称。本篇是该系列的第二篇，我们来讲一讲SparkSQL中DataFrame创建的相关知识。

说到DataFrame，你一定会联想到Python Pandas中的DataFrame，你别说，还真有点相似。这个在后面的文章中咱们在慢慢体会，本文咱们先来学习一下如何创建一个DataFrame对象。通体来说有三种方法，分别是使用toDF方法，使用createDataFrame方法和通过读文件的直接创建DataFrame。

本文中所使用的都是scala语言，对此感兴趣的同学可以看一下网上的教程，不过挺简单的，慢慢熟悉就好：https://www.runoob.com/scala/scala-tutorial.html

DataFrame(以下简称DF)的生成方式有很多,我们一一道来，不过在生成之前，我们首先要创建一个SparkSession：

val spark = SparkSession      .builder()      .appName("Spark SQL basic example")      .enableHiveSupport()      .getOrCreate()

1、使用toDF方法创建DataFrame对象

使用toDF方法，我们可以将本地序列(Seq), 列表或者RDD转为DataFrame。只要这些数据的内容能指定数据类型即可。

这里先讲一下什么是本地序列(Seq)，Seq对应于Java中的java.util.List，可以参考：https://blog.csdn.net/bigdata_mining/article/details/81269704。

比如，我们可以将如下的Seq转换为DF：

def createDFByToDF(spark:SparkSession) = {    import spark.implicits._    val seqData = Seq(      (1, "First Value", java.sql.Date.valueOf("2010-01-01")),      (2, "Second Value", java.sql.Date.valueOf("2010-02-01"))    )    val seq2df = seqData.toDF("int_column","string_column","date_column")    print(seq2df.dtypes)    seq2df.show()  }

模型输出为：

这里注意两点咱们再继续讲：

1）先导入spark.implicits._

import spark.implicits._

在对 DataFrame 进行许多操作都需要这个包进行支持。这是scala中隐式语法，感兴趣的同学可以参考：https://www.cnblogs.com/xia520pi/p/8745923.html，如果比较难理解的话，那就记得每次都导入这个就好了，或者一旦发现代码中有如下的红色错误的话，首先想到导入这个包：

2）run的时候还是要指定master url，否则报错：

这里还是要指定运行的参数：

好了，继续往下讲。同样，我们可以将一个RDD转化为DF：

val rdd = spark.sparkContext.parallelize(List(1,2,3,4,5))val df = rdd.map(x=>(x,x^2)).toDF("org","xor")df.show()

结果如下：

最后，我们还可以将一个Scala的列表转化为DF：

val arr = List((1,3),(2,4),(3,5))val df1 = arr.toDF("first","second")df1.show()

输出为：

2、使用createDataFrame方法创建DataFrame对象

这一种方法比较繁琐，通过row+schema创建DataFrame：

def createDFBySchema(spark:SparkSession) = {    import spark.implicits._    import org.apache.spark.sql.types._    import org.apache.spark.sql.Row    val schema = StructType(List(      StructField("integer_column", IntegerType, nullable = false),      StructField("string_column", StringType, nullable = true),      StructField("date_column", DateType, nullable = true)    ))    val rdd = spark.sparkContext.parallelize(Seq(      Row(1, "First Value", java.sql.Date.valueOf("2010-01-01")),      Row(2, "Second Value", java.sql.Date.valueOf("2010-02-01"))    ))    val df = spark.createDataFrame(rdd, schema)    df.show()  }

输出为：

由于比较繁琐，所以感觉实际工作中基本没有用到过，大家了解一下就好。

3、通过文件直接创建DataFrame对象

我们介绍几种常见的通过文件创建DataFrame。包括通过JSON、CSV文件、MySQl和Hive表。

3.1 通过JSON创建

假设我们的JSON文件内容如下：

通过其创建DataFrame代码如下：

def createDFByJson(spark:SparkSession) = {    val df = spark.read.json("resources/test.json")    df.show()  }

结果为：

3.2 通过CSV文件创建

这里，首先需要导入一个包，可以在：https://www.mvnjar.com/com.databricks/spark-csv_2.11/1.5.0/detail.html 进行下载。下载完成后导入：

随后，我们准备一份鸢尾花的数据集：

通过代码进行读入：

def createDFByCSV(spark:SparkSession) = {    val df = spark.sqlContext.read.format("com.databricks.spark.csv")      .option("header","true") //这里如果在csv第一行有属性的话，没有就是"false"      .option("inferSchema",true.toString)//这是自动推断属性列的数据类型。      .load("resources/iris.csv")    df.show()  }

结果如下：

3.3 通过Mysql创建

咱们先简单的创建一个数据表：

建表语句如下：

CREATE TABLE IF NOT EXISTS `runoob_tbl`(    ->    `runoob_id` INT UNSIGNED AUTO_INCREMENT,    ->    `runoob_title` VARCHAR(100) NOT NULL,    ->    `runoob_author` VARCHAR(40) NOT NULL,    ->    `submission_date` DATE,    ->    PRIMARY KEY ( `runoob_id` )    -> )ENGINE=InnoDB DEFAULT CHARSET=utf8;

插入语句如下：

insert into runoob_tbl(runoob_id,runoob_title,runoob_author) values(10,'hhaha','ac');

接下来通过spark进行读取：

def createDFByMysql(spark:SparkSession) = {    val url = "jdbc:mysql://localhost:3306/test"    val df = spark.read      .format("jdbc")      .option("url", url)      .option("dbtable", "runoob_tbl")      .option("user", "root")      .option("password", "0845")      .load()    df.show()  }

读取成功，结果如下：

3.4 通过Hive创建

这是咱们最常用的方式了，假设咱们已经把鸢尾花数据导入到hive中了：

val df = spark.sqlContext.read.format("com.databricks.spark.csv")      .option("header","true") //这里如果在csv第一行有属性的话，没有就是"false"      .option("inferSchema",true.toString)//这是自动推断属性列的数据类型。      .load("resources/iris.csv")    df.show()    spark.sql(      s"""         |CREATE TABLE IF NOT EXISTS iris(         | feature1 double,         | feature2 double,         | feature3 double,         | feature4 double,         | label string         |)       """.stripMargin)    df.createOrReplaceTempView("outputdata")    spark.sql("set hive.exec.dynamic.partition.mode=nonstrict")    spark.sql(      s"""         |insert overwrite table iris         |select         |  feature1,         |  feature2,         |  feature3,         |  feature4,         |  label         |from         |  outputdata      """.stripMargin)

先在hive下查看数据：

接下来，在spark中同样写sql就好了：

val df = spark.sql(      """        |select        | *        |from        | iris        |limit        | 10      """.stripMargin)    df.show()

成功！

4、总结

今天咱们总结了一下创建Spark的DataFrame的几种方式，在实际的工作中，大概最为常用的就是从Hive中读取数据，其次就可能是把RDD通过toDF的方法转换为DataFrame。

spark.sql()函数中的sql语句，大部分时候是和hive sql一致的，但在工作中也发现过一些不同的地方，比如解析json类型的字段，hive中可以解析层级的json，但是spark的话只能解析一级的json（这是我在工作中的发现，也可能不太对，大家可以自己尝试一下）。

这些我们在后面会继续讲到。后面的话，咱们先介绍一点hive的基础知识，如数据类型和常用的函数等等。期待一下吧。