【大数据】spark学习（2） - DataFrame对象上Action操作

（一）DataFrame对象生成

#构造case class，利用反射机制隐式转换
import spark.implicits._
val data = sc.textFile(“iris.data”)
case class irisData(SepalLengthCm:Float,SepalWidthCm:Float,PetalLengthCm:Float,PetalWidthCm:Float,Species:String)
val df = data.map(_.split(",")).map(x=>irisData(x(0).toFloat,x(1).toFloat,x(2).toFloat,x(3).toFloat,x(4))).toDF

（二）DataFrame对象上Action操作

1、show：展示数据
　　以表格的形式在输出中展示jdbcDF中的数据，类似于select * from spark_sql_test的功能。
　　show方法有四种调用方式，分别为，
（1）show
　　只显示前20条记录。
示例：df.show

（2）show(numRows: Int)
　　显示numRows条
　　示例：df.show(3)
（3）show(truncate: Boolean)
　　是否最多只显示20个字符，默认为true。
　　示例：df.show(true)
df.show(false)
（4）show(numRows: Int, truncate: Boolean)
　　综合前面的显示记录条数，以及对过长字符串的显示格式。
　　示例：df.show(3, false)
2、collect：获取所有数据到数组
　　不同于前面的show方法，这里的collect方法会将jdbcDF中的所有数据都获取到，并返回一个Array对象。
df.collect()
3、collectAsList：获取所有数据到List
　　功能和collect类似，只不过将返回结构变成了List对象，使用方法如下
df.collectAsList()
4、describe(cols: String*)：获取指定字段的统计信息
　　这个方法可以动态的传入一个或多个String类型的字段名，结果仍然为DataFrame对象，用于统计数值类型字段的统计值，比如count, mean, stddev, min, max等。
df.describe(“SepalLengthCm“,“SepalWidthCm“,“PetalLengthCm“,“PetalWidthCm“ ).show()

df.describe( ).show()//所有字段

5、first, head, take, takeAsList：获取若干行记录
　　这里列出的四个方法比较类似，其中
　　（1）first获取第一行记录
　　（2）head获取第一行记录，head(n: Int)获取前n行记录
　　（3）take(n: Int)获取前n行数据
　　（4）takeAsList(n: Int)获取前n行数据，并以List的形式展现
　　以Row或者Array[Row]的形式返回一行或多行数据。first和head功能相同。
take和takeAsList方法会将获得到的数据返回到Driver端，所以，使用这两个方法时需要注意数据量，以免Driver发生OutOfMemoryError

（三）DataFrame对象上的条件查询和join等操作

1、where条件相关
（1）where(conditionExpr: String)：SQL语言中where关键字后的条件
　　传入筛选条件表达式，可以用and和or。得到DataFrame类型的返回结果，
　　示例：
df.where(“Species=‘Iris-setosa’”).show()

（2）filter：根据字段进行筛选
　　传入筛选条件表达式，得到DataFrame类型的返回结果。和where使用条件相同
　　示例：
df.filter(“Species=‘Iris-setosa’”)…show()
2、查询指定字段
（1）select：获取指定字段值
　　根据传入的String类型字段名，获取指定字段的值，以DataFrame类型返回
　　示例：
df.select(“SepalLengthCm“,“SepalWidthCm“ ).show( false)

还有一个重载的select方法，不是传入String类型参数，而是传入Column类型参数。可以实现select SepalLengthCm, SepalLengthCm+1 from test这种逻辑。
df.select(df( “SepalLengthCm” ), df( “SepalLengthCm”) + 1 ).show( false)

（2）selectExpr：可以对指定字段进行特殊处理
　　可以直接对指定字段调用UDF函数，或者指定别名等。传入String类型参数，得到DataFrame对象。
　　示例，查询SepalLengthCm字段，SepalWidthCm字段取别名time，“PetalLengthCm“,“PetalWidthCm“字段四舍五入：
“SepalLengthCm“,“SepalWidthCm“,“PetalLengthCm“,“PetalWidthCm“
df .selectExpr(“SepalLengthCm” , “SepalWidthCm as time” , “round(PetalLengthCm)”, “round(PetalWidthCm)” ).show(false)

（3）col：获取指定字段
　　只能获取一个字段，返回对象为Column类型。
　　val SepalLengthCmCol = df.col(“SepalLengthCm”)
（4）apply：获取指定字段
　　只能获取一个字段，返回对象为Column类型
　　示例：
val SepalLengthCmCol = df.apply(“SepalLengthCm”)
val SepalLengthCmCol = df(“SepalLengthCm”)
（5）drop：去除指定字段，保留其他字段
　　返回一个新的DataFrame对象，其中不包含去除的字段，一次只能去除一个字段。
　　示例：
df.drop(“SepalLengthCm”)
df.drop(df(“SepalLengthCm”))

3、limit
　　limit方法获取指定DataFrame的前n行记录，得到一个新的DataFrame对象。和take与head不同的是，limit方法不是Action操作。
df.limit(3).show( false)

4、order by
（1）orderBy和sort：按指定字段排序，默认为升序
　　示例1，按指定字段排序。加个-表示降序排序。sort和orderBy使用方法相同
df.orderBy(- df(“SepalLengthCm”)).show(false)
// 或者
df.orderBy(df(“SepalLengthCm”).desc).show(false)
　示例2，按字段字符串升序排序

df.orderBy(“SepalLengthCm”).show(false)
df.sort(“SepalLengthCm”).show(false)
5、group by
（1）groupBy：根据字段进行group by操作
　　groupBy方法有两种调用方式，可以传入String类型的字段名，也可传入Column类型的对象。
　　使用方法如下，
df.groupBy(“Species” )
df.groupBy( df( “Species”))
（2）cube和rollup：group by的扩展
　　功能类似于SQL中的group by cube/rollup，略。
（3）GroupedData对象
　　该方法得到的是GroupedData类型对象，在GroupedData的API中提供了group by之后的操作，比如，
max(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的最大值，只能作用于数字型字段
min(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的最小值，只能作用于数字型字段
mean(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的平均值，只能作用于数字型字段
sum(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的和值，只能作用于数字型字段
count()方法，获取分组中的元素个数

6、distinct
（1）distinct：返回一个不包含重复记录的DataFrame
　　返回当前DataFrame中不重复的Row记录。该方法和接下来的dropDuplicates()方法不传入指定字段时的结果相同。
　　示例：
df.distinct().show()
（2）dropDuplicates：根据指定字段去重
　　根据指定字段去重。类似于select distinct a, b操作
　　示例：
df.dropDuplicates(Seq(“Species”)).show()

7、聚合
　　聚合操作调用的是agg方法，该方法有多种调用方式。一般与groupBy方法配合使用。
以下示例其中最简单直观的一种用法，对id字段求最大值，对c4字段求和。
df.agg(“SepalLengthCm”-> “max”, “SepalWidthCm” -> “sum”).show()

8、union
　　unionAll方法：对两个DataFrame进行组合
　　类似于SQL中的UNION ALL操作。
　　示例：
df.unionALL(df.limit(1))
9、join（尚未实操）
　　重点来了。在SQL语言中用得很多的就是join操作，DataFrame中同样也提供了join的功能。
　　接下来隆重介绍join方法。在DataFrame中提供了六个重载的join方法。
（1）、笛卡尔积
joinDF1.join(joinDF2)
（2）、using一个字段形式
　　下面这种join类似于a join b using column1的形式，需要两个DataFrame中有相同的一个列名，
joinDF1.join(joinDF2, “id”)
joinDF1和joinDF2根据字段id进行join操作，结果如下，using字段只显示一次。
（3）、using多个字段形式
　　除了上面这种using一个字段的情况外，还可以using多个字段，如下
joinDF1.join(joinDF2, Seq(“id”, “name”)）
（4）、指定join类型
　　两个DataFrame的join操作有inner, outer, left_outer, right_outer, leftsemi类型。在上面的using多个字段的join情况下，可以写第三个String类型参数，指定join的类型，如下所示
joinDF1.join(joinDF2, Seq(“id”, “name”), “inner”）
（5）、使用Column类型来join
　　如果不用using模式，灵活指定join字段的话，可以使用如下形式
joinDF1.join(joinDF2 , joinDF1(“id” ) === joinDF2( “t1_id”))
（6）、在指定join字段同时指定join类型
　　如下所示
joinDF1.join(joinDF2 , joinDF1(“id” ) === joinDF2( “t1_id”), “inner”)
10、获取指定字段统计信息（尚未实操）
　　stat方法可以用于计算指定字段或指定字段之间的统计信息，比如方差，协方差等。这个方法返回一个DataFramesStatFunctions类型对象。
　　下面代码演示根据c4字段，统计该字段值出现频率在30%以上的内容。在jdbcDF中字段c1的内容为"a, b, a, c, d, b"。其中a和b出现的频率为2 / 6，大于0.3
jdbcDF.stat.freqItems(Seq (“c1”) , 0.3).show()
11、获取两个DataFrame中共有的记录（尚未实操）
　　intersect方法可以计算出两个DataFrame中相同的记录，
jdbcDF.intersect(jdbcDF.limit(1)).show(false)
12、获取一个DataFrame中有另一个DataFrame中没有的记录（尚未实操）
　　示例：
jdbcDF.except(jdbcDF.limit(1)).show(false)
13、操作字段名（尚未实操）
（1）withColumnRenamed：重命名DataFrame中的指定字段名
　　如果指定的字段名不存在，不进行任何操作。下面示例中将jdbcDF中的id字段重命名为idx。
jdbcDF.withColumnRenamed( “id” , “idx” )
（2）withColumn：往当前DataFrame中新增一列
　　whtiColumn(colName: String , col: Column)方法根据指定colName往DataFrame中新增一列，如果colName已存在，则会覆盖当前列。
　　以下代码往jdbcDF中新增一个名为id2的列，
jdbcDF.withColumn(“id2”, jdbcDF(“id”)).show( false)
14、行转列（尚未实操）
　　有时候需要根据某个字段内容进行分割，然后生成多行，这时可以使用explode方法
　　下面代码中，根据c3字段中的空格将字段内容进行分割，分割的内容存储在新的字段c3_中，如下所示
jdbcDF.explode( “c3” , “c3_” ){time: String => time.split( " " )}
15、window的使用