本文的开头,咱们正式给该系列取个名字了,就叫数据分析EPHS系列,EPHS分别是Excel、Python、Hive和SparkSQL的简称。本篇是该系列的第二篇,我们来讲一讲SparkSQL中DataFrame创建的相关知识。
说到DataFrame,你一定会联想到Python Pandas中的DataFrame,你别说,还真有点相似。这个在后面的文章中咱们在慢慢体会,本文咱们先来学习一下如何创建一个DataFrame对象。通体来说有三种方法,分别是使用toDF方法,使用createDataFrame方法和通过读文件的直接创建DataFrame。
本文中所使用的都是scala语言,对此感兴趣的同学可以看一下网上的教程,不过挺简单的,慢慢熟悉就好:https://www.runoob.com/scala/scala-tutorial.html
DataFrame(以下简称DF)的生成方式有很多,我们一一道来,不过在生成之前,我们首先要创建一个SparkSession:
val spark = SparkSession .builder() .appName("Spark SQL basic example") .enableHiveSupport() .getOrCreate()
1、使用toDF方法创建DataFrame对象
使用toDF方法,我们可以将本地序列(Seq), 列表或者RDD转为DataFrame。只要这些数据的内容能指定数据类型即可。
这里先讲一下什么是本地序列(Seq),Seq对应于Java中的java.util.List,可以参考:https://blog.csdn.net/bigdata_mining/article/details/81269704。
比如,我们可以将如下的Seq转换为DF:
def createDFByToDF(spark:SparkSession) = { import spark.implicits._ val seqData = Seq( (1, "First Value", java.sql.Date.valueOf("2010-01-01")), (2, "Second Value", java.sql.Date.valueOf("2010-02-01")) ) val seq2df = seqData.toDF("int_column","string_column","date_column") print(seq2df.dtypes) seq2df.show() }
模型输出为:
这里注意两点咱们再继续讲:
1)先导入spark.implicits._
import spark.implicits._
在对 DataFrame 进行许多操作都需要这个包进行支持。这是scala中隐式语法,感兴趣的同学可以参考:https://www.cnblogs.com/xia520pi/p/8745923.html,如果比较难理解的话,那就记得每次都导入这个就好了,或者一旦发现代码中有如下的红色错误的话,首先想到导入这个包:
2)run的时候还是要指定master url,否则报错:
这里还是要指定运行的参数:
好了,继续往下讲。同样,我们可以将一个RDD转化为DF:
val rdd = spark.sparkContext.parallelize(List(1,2,3,4,5))val df = rdd.map(x=>(x,x^2)).toDF("org","xor")df.show()
结果如下:
最后,我们还可以将一个Scala的列表转化为DF:
val arr = List((1,3),(2,4),(3,5))val df1 = arr.toDF("first","second")df1.show()
输出为:
2、使用createDataFrame方法创建DataFrame对象
这一种方法比较繁琐,通过row+schema创建DataFrame:
def createDFBySchema(spark:SparkSession) = { import spark.implicits._ import org.apache.spark.sql.types._ import org.apache.spark.sql.Row val schema = StructType(List( StructField("integer_column", IntegerType, nullable = false), StructField("string_column", StringType, nullable = true), StructField("date_column", DateType, nullable = true) )) val rdd = spark.sparkContext.parallelize(Seq( Row(1, "First Value", java.sql.Date.valueOf("2010-01-01")), Row(2, "Second Value", java.sql.Date.valueOf("2010-02-01")) )) val df = spark.createDataFrame(rdd, schema) df.show() }
输出为:
由于比较繁琐,所以感觉实际工作中基本没有用到过,大家了解一下就好。
3、通过文件直接创建DataFrame对象
我们介绍几种常见的通过文件创建DataFrame。包括通过JSON、CSV文件、MySQl和Hive表。
3.1 通过JSON创建
假设我们的JSON文件内容如下:
通过其创建DataFrame代码如下:
def createDFByJson(spark:SparkSession) = { val df = spark.read.json("resources/test.json") df.show() }
结果为:
3.2 通过CSV文件创建
这里,首先需要导入一个包,可以在:https://www.mvnjar.com/com.databricks/spark-csv_2.11/1.5.0/detail.html 进行下载。下载完成后导入:
随后,我们准备一份鸢尾花的数据集:
通过代码进行读入:
def createDFByCSV(spark:SparkSession) = { val df = spark.sqlContext.read.format("com.databricks.spark.csv") .option("header","true") //这里如果在csv第一行有属性的话,没有就是"false" .option("inferSchema",true.toString)//这是自动推断属性列的数据类型。 .load("resources/iris.csv") df.show() }
结果如下:
3.3 通过Mysql创建
咱们先简单的创建一个数据表:
建表语句如下:
CREATE TABLE IF NOT EXISTS `runoob_tbl`( -> `runoob_id` INT UNSIGNED AUTO_INCREMENT, -> `runoob_title` VARCHAR(100) NOT NULL, -> `runoob_author` VARCHAR(40) NOT NULL, -> `submission_date` DATE, -> PRIMARY KEY ( `runoob_id` ) -> )ENGINE=InnoDB DEFAULT CHARSET=utf8;
插入语句如下:
insert into runoob_tbl(runoob_id,runoob_title,runoob_author) values(10,'hhaha','ac');
接下来通过spark进行读取:
def createDFByMysql(spark:SparkSession) = { val url = "jdbc:mysql://localhost:3306/test" val df = spark.read .format("jdbc") .option("url", url) .option("dbtable", "runoob_tbl") .option("user", "root") .option("password", "0845") .load() df.show() }
读取成功,结果如下:
3.4 通过Hive创建
这是咱们最常用的方式了,假设咱们已经把鸢尾花数据导入到hive中了:
val df = spark.sqlContext.read.format("com.databricks.spark.csv") .option("header","true") //这里如果在csv第一行有属性的话,没有就是"false" .option("inferSchema",true.toString)//这是自动推断属性列的数据类型。 .load("resources/iris.csv") df.show() spark.sql( s""" |CREATE TABLE IF NOT EXISTS iris( | feature1 double, | feature2 double, | feature3 double, | feature4 double, | label string |) """.stripMargin) df.createOrReplaceTempView("outputdata") spark.sql("set hive.exec.dynamic.partition.mode=nonstrict") spark.sql( s""" |insert overwrite table iris |select | feature1, | feature2, | feature3, | feature4, | label |from | outputdata """.stripMargin)
先在hive下查看数据:
接下来,在spark中同样写sql就好了:
val df = spark.sql( """ |select | * |from | iris |limit | 10 """.stripMargin) df.show()
成功!
4、总结
今天咱们总结了一下创建Spark的DataFrame的几种方式,在实际的工作中,大概最为常用的就是从Hive中读取数据,其次就可能是把RDD通过toDF的方法转换为DataFrame。
spark.sql()函数中的sql语句,大部分时候是和hive sql一致的,但在工作中也发现过一些不同的地方,比如解析json类型的字段,hive中可以解析层级的json,但是spark的话只能解析一级的json(这是我在工作中的发现,也可能不太对,大家可以自己尝试一下)。
这些我们在后面会继续讲到。后面的话,咱们先介绍一点hive的基础知识,如数据类型和常用的函数等等。期待一下吧。