Spark DataFrame内置sql函数总结

最新推荐文章于 2023-10-13 19:24:53 发布
最新推荐文章于 2023-10-13 19:24:53 发布
阅读量875 收藏 6
点赞数
分类专栏： scala Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whgyxy/article/details/105467934
版权
Spark 同时被 2 个专栏收录
17 篇文章 0 订阅
订阅专栏
scala
13 篇文章 0 订阅
订阅专栏

Spark DataFrame sql函数总结

Spark DataFrame内置了200+个函数供使用，包括聚合、集合、时间、字符串、数学、排序、窗口、UDF等多类函数，是个十分齐全的百宝箱，灵活运用可以事半功倍。
用之前需要导入sql函数

import org.apache.spark.sql.functions._
自定义UDF函数

如果觉得百宝箱不够用，需要自己造个轮子，可以用udf来实现

  // 自定义udf的函数
  val ageFiled = (age: String) => {
    val ageInt = age.toInt
    ageInt match {
      case age if age <= 12 => "1"
      case age if age >= 13 && age <= 17 => "2"
      case age if age >= 18 && age <= 24 => "3"
      case age if age >= 25 && age <= 30 => "4"
      case age if age >= 31 && age <= 35 => "5"
      case age if age >= 36 && age <= 40 => "6"
      case age if age >= 41 && age <= 50 => "7"
      case age if age >= 51 && age <= 60 => "8"
      case age if age >= 61 => "9"
    }
  }

在具体使用的时候，对这个自定义的udf函数进行声明后就可以和内置函数一样的方式使用啦，例如新增一列年龄段示例如下

val getAgeField = udf(ageFiled)
val result = df.withColumn("agefield", getAgeField($"age"))
窗口函数

窗口函数和Hive里面的一样，在Spark DataFrame中使用，主要有两个步骤。
第一，定义窗口的特征。首先定义分组（partitionBy），然后定义排序（orderBy），最后定义窗口大小（rowsBetween、rangeBetween）
第二，使用窗口函数。现阶段有2类函数可以作为窗口函数，聚集函数（max、min、avg…），排序函数（rank、dense_rank、percent_rank、ntile、row_number）

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.{DataFrame, SparkSession}
import org.apache.spark.sql.functions._

object Test {

  def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder()
          .appName("Test")
          .master("local")
          .getOrCreate()

        import spark.implicits._
        val df = spark.createDataset(Seq(
          ("2010-07-22", "猪聪明", 1, "男", 51, 84, 73, "四川"),
          ("2010-07-23", "猪坚强", 2, "男", 89, 85, 88, "广东"),
          ("2010-07-24", "猪勇敢", 1, "男", 40, 86, 78, "广东"),
          ("2010-07-22", "猪能干", 2, "男", 81, 85, 56, "湖北"),
          ("2010-07-23", "猪豪杰", 3, "男", 77, 82, 93, "四川"),
          ("2010-07-21", "猪可爱", 3, "女", 11, 82, 70, "湖北"),
          ("2010-07-22", "猪温柔", 4, "女", 42, 86, 34, "湖北"),
          ("2010-07-23", "猪美丽", 4, "女", 54, 84, 92, "湖北"),
          ("2010-07-25", "猪优雅", 4, "女", 40, 91, 68, "四川"),
          ("2010-07-26", "猪大方", 4, "女", 23, 97, 68, "广东"))
        ).toDF("birthday", "name", "class", "sex", "math", "eng", "tech", "address")

    // 按男女分组的数学平均值
    val windowBySex = Window.partitionBy("sex")
    df.withColumn("sex_avg", avg("math").over(windowBySex)).show(false)

  }

}

输出结果

+----------+----+-----+---+----+---+----+-------+-------+
|birthday  |name|class|sex|math|eng|tech|address|sex_avg|
+----------+----+-----+---+----+---+----+-------+-------+
|2010-07-22|猪聪明 |1    |男  |51  |84 |73  |四川     |67.6   |
|2010-07-23|猪坚强 |2    |男  |89  |85 |88  |广东     |67.6   |
|2010-07-24|猪勇敢 |1    |男  |40  |86 |78  |广东     |67.6   |
|2010-07-22|猪能干 |2    |男  |81  |85 |56  |湖北     |67.6   |
|2010-07-23|猪豪杰 |3    |男  |77  |82 |93  |四川     |67.6   |
|2010-07-21|猪可爱 |3    |女  |11  |82 |70  |湖北     |34.0   |
|2010-07-22|猪温柔 |4    |女  |42  |86 |34  |湖北     |34.0   |
|2010-07-23|猪美丽 |4    |女  |54  |84 |92  |湖北     |34.0   |
|2010-07-25|猪优雅 |4    |女  |40  |91 |68  |四川     |34.0   |
|2010-07-26|猪大方 |4    |女  |23  |97 |68  |广东     |34.0   |
+----------+----+-----+---+----+---+----+-------+-------+

按地域分组求每组数据成绩最高值

    // 按地域分组看每组英语最高值
    val windowByAddress = Window.partitionBy("address")
    df.withColumn("max_eng_addr", max("eng").over(windowByAddress)).show(false)

结果输出

+----------+----+-----+---+----+---+----+-------+------------+
|birthday  |name|class|sex|math|eng|tech|address|max_eng_addr|
+----------+----+-----+---+----+---+----+-------+------------+
|2010-07-23|猪坚强 |2    |男  |89  |85 |88  |广东     |97          |
|2010-07-24|猪勇敢 |1    |男  |40  |86 |78  |广东     |97          |
|2010-07-26|猪大方 |4    |女  |23  |97 |68  |广东     |97          |
|2010-07-22|猪能干 |2    |男  |81  |85 |56  |湖北     |86          |
|2010-07-21|猪可爱 |3    |女  |11  |82 |70  |湖北     |86          |
|2010-07-22|猪温柔 |4    |女  |42  |86 |34  |湖北     |86          |
|2010-07-23|猪美丽 |4    |女  |54  |84 |92  |湖北     |86          |
|2010-07-22|猪聪明 |1    |男  |51  |84 |73  |四川     |91          |
|2010-07-23|猪豪杰 |3    |男  |77  |82 |93  |四川     |91          |
|2010-07-25|猪优雅 |4    |女  |40  |91 |68  |四川     |91          |
+----------+----+-----+---+----+---+----+-------+------------+

按班级分组看每组数学成绩排序

// 按班级分组看每组数学成绩排序(需要先对window分组进行orderBy排序)
    val windowByClass = Window.partitionBy("class").orderBy($"math".desc)
    df.withColumn("rank_math_class", rank().over(windowByClass)).show(false)

结果输出

+----------+----+-----+---+----+---+----+-------+---------------+
|birthday  |name|class|sex|math|eng|tech|address|rank_math_class|
+----------+----+-----+---+----+---+----+-------+---------------+
|2010-07-22|猪聪明 |1    |男  |51  |84 |73  |四川     |1              |
|2010-07-24|猪勇敢 |1    |男  |40  |86 |78  |广东     |2              |
|2010-07-23|猪豪杰 |3    |男  |77  |82 |93  |四川     |1              |
|2010-07-21|猪可爱 |3    |女  |11  |82 |70  |湖北     |2              |
|2010-07-23|猪美丽 |4    |女  |54  |84 |92  |湖北     |1              |
|2010-07-22|猪温柔 |4    |女  |42  |86 |34  |湖北     |2              |
|2010-07-25|猪优雅 |4    |女  |40  |91 |68  |四川     |3              |
|2010-07-26|猪大方 |4    |女  |23  |97 |68  |广东     |4              |
|2010-07-23|猪坚强 |2    |男  |89  |85 |88  |广东     |1              |
|2010-07-22|猪能干 |2    |男  |81  |85 |56  |湖北     |2              |
+----------+----+-----+---+----+---+----+-------+---------------+

按照性别分组看每组数学成绩排序，新增一列按性别分组对每组进行分桶并编号

    // 按照性别分组看每组数学成绩排序
    // 按性别分组对每组进行分桶并编号
    val windowBySex1 = Window.partitionBy("sex").orderBy($"math".desc)
    df.withColumn("dense_rank_math_class", dense_rank().over(windowBySex1))
      .withColumn("ntile_3", ntile(3).over(windowBySex1))
      .withColumn("math_no", row_number().over(windowBySex1))
      .withColumn("math_no_persent", percent_rank().over(windowBySex1))
      .show(false)

输出结果

+----------+----+-----+---+----+---+----+-------+---------------------+-------+-------+---------------+
|birthday  |name|class|sex|math|eng|tech|address|dense_rank_math_class|ntile_3|math_no|math_no_persent|
+----------+----+-----+---+----+---+----+-------+---------------------+-------+-------+---------------+
|2010-07-23|猪坚强 |2    |男  |89  |85 |88  |广东     |1                    |1      |1      |0.0            |
|2010-07-22|猪能干 |2    |男  |81  |85 |56  |湖北     |2                    |1      |2      |0.25           |
|2010-07-23|猪豪杰 |3    |男  |77  |82 |93  |四川     |3                    |2      |3      |0.5            |
|2010-07-22|猪聪明 |1    |男  |51  |84 |73  |四川     |4                    |2      |4      |0.75           |
|2010-07-24|猪勇敢 |1    |男  |40  |86 |78  |广东     |5                    |3      |5      |1.0            |
|2010-07-23|猪美丽 |4    |女  |54  |84 |92  |湖北     |1                    |1      |1      |0.0            |
|2010-07-22|猪温柔 |4    |女  |42  |86 |34  |湖北     |2                    |1      |2      |0.25           |
|2010-07-25|猪优雅 |4    |女  |40  |91 |68  |四川     |3                    |2      |3      |0.5            |
|2010-07-26|猪大方 |4    |女  |23  |97 |68  |广东     |4                    |2      |4      |0.75           |
|2010-07-21|猪可爱 |3    |女  |11  |82 |70  |湖北     |5                    |3      |5      |1.0            |
+----------+----+-----+---+----+---+----+-------+---------------------+-------+-------+---------------+

按照性别分组取每组数学成绩第一名和最后一名

    val windowBySex2 = Window.partitionBy("sex").orderBy($"math".desc)
    df.withColumn("number_math_sex", row_number().over(windowBySex2))
      .filter($"number_math_sex" <= 1)
      .show(false)

    // 这里使用selectExpr完成同样的功能,按照性别分组求每组数学成绩最高值
    df.selectExpr("sex","max(math) over (partition by sex order by math desc )  as max_math")
      .distinct()
      .show(false)

输出结果

+----------+----+-----+---+----+---+----+-------+---------------+
|birthday  |name|class|sex|math|eng|tech|address|number_math_sex|
+----------+----+-----+---+----+---+----+-------+---------------+
|2010-07-23|猪坚强 |2    |男  |89  |85 |88  |广东     |1              |
|2010-07-23|猪美丽 |4    |女  |54  |84 |92  |湖北     |1              |
+----------+----+-----+---+----+---+----+-------+---------------+

+---+--------+
|sex|max_math|
+---+--------+
|男  |89      |
|女  |54      |
+---+--------+
结构化数据类型

对于结构化数据类型的访问示例，可以使用DataSet方式来处理

import org.apache.spark.sql.SparkSession

object Test {

  case class Score(math: Int, eng: Int, tech: Int)

  case class Info(name: String, birthday: String, classNo: Int, sec: String, score: Score, interest: Interest)

  case class Interest(list: Seq[String])

  case class AddressInfo(name: String, address: String)

  case class Student(name: String, address: String, birthday: String, classNo: Int, sec: String, score: Score, interest: Interest)

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Test")
      .master("local")
      .getOrCreate()

    import spark.implicits._
    val df = spark.createDataFrame(Seq(
      Info("猪聪明", "2010-07-22", 1, "男", Score(51, 84, 73), Interest(Seq("弹琴", "跳舞", "画画"))),
      Info("猪坚强", "2010-07-23", 2, "男", Score(89, 85, 88), Interest(Seq("跳舞", "画画"))),
      Info("猪勇敢", "2010-07-24", 1, "男", Score(40, 86, 78), Interest(Seq("弹琴", "跳舞"))),
      Info("猪能干", "2010-07-22", 2, "男", Score(81, 85, 56), Interest(Seq("弹琴"))),
      Info("猪豪杰", "2010-07-23", 3, "男", Score(77, 82, 93), Interest(Seq("画画"))),
      Info("猪可爱", "2010-07-21", 3, "女", Score(11, 82, 70), Interest(Seq("画画"))),
      Info("猪温柔", "2010-07-22", 4, "女", Score(42, 86, 34), Interest(Seq("弹琴"))),
      Info("猪美丽", "2010-07-23", 4, "女", Score(54, 84, 92), Interest(Seq("跳舞"))),
      Info("猪优雅", "2010-07-25", 4, "女", Score(40, 91, 68), Interest(Seq("弹琴", "跳舞", "画画"))),
      Info("猪大方", "2010-07-26", 4, "女", Score(23, 97, 68), Interest(Seq("跳舞", "画画")))
    ))

    val address = spark.createDataFrame(
      Seq(
        AddressInfo("猪聪明", "四川"),
        AddressInfo("猪坚强", "广东"),
        AddressInfo("猪勇敢", "广东"),
        AddressInfo("猪能干", "湖北"),
        AddressInfo("猪豪杰", "四川"),
        AddressInfo("猪可爱", "湖北"),
        AddressInfo("猪温柔", "湖北"),
        AddressInfo("猪美丽", "湖北"),
        AddressInfo("猪优雅", "四川"),
        AddressInfo("猪大方", "广东")
      )
    )

    // 对于结构化数据类型的访问
    df.join(address, Seq("name"), "inner")
      .select("name", "score.math", "address")
      .show(false)

    // 可以直接转为DataSet，这样可以使用其属性
    val addressDS = address.as[AddressInfo]
    val ds = df.as[Info]
    ds.join(addressDS, Seq("name"), "inner")
      .as[Student] // 这样直接转为DataSet对象
      .map(x => (x.name, x.address))
      .show(false)
  }

}
参考
  1. org.apache.spark.sql.functions官网
  2. Spark API 全集(2):Spark SQL 函数全集
  3. Spark 实现简单移动平均值（SMA） - 窗口函数（Window Function）
巴拉巴拉朵
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark dataframe使用详解
12-05
本文档详细的描述了SPARK DATAFRAME架构的使用，列举了详细的例子，通俗易懂
pandas和spark dataframe互相转换实例详解
09-17
总结一下，`pandas` 和 `Spark DataFrame` 之间的转换主要涉及以下知识点： 1. `SparkSession` 的创建与使用，它是 Spark 2.x 的核心接口。 2. `createDataFrame()` 方法，用于将 `pandas DataFrame` 转换成 `Spark ...
spark DataFrame 的函数|基本操作|集成查询记录
yulijianzhangminmin的专栏
12-13 2万+
DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学
Spark_Spark中DataFrame 基本操作函数
迎难而上
05-30 4147
DataFrame的基本操作函数 Action 操作 1、 collect() 返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, an...
spark DataFrame 基本操作函数
TURING.DT
06-09 2762
DataFrame 的函数Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果
大数据Spark DataFrame
赵广陆
08-24 726
目录1 DataFrame是什么2 Schema 信息3 Row4 RDD转换DataFrame4.1 反射类型推断4.2 自定义Schema 1 DataFrame是什么 DataFrame它不是Spark SQL提出来的，而是早期在R、Pandas语言就已经有了的。就易用性而言，对比传统的MapReduce API，说Spark的RDD API有了数量级的飞跃并不为过。然而，对于没有MapReduce和函数式编程经验的新手来说，RDD API仍然存在着一定的门槛。另一方面，数据科学家们所熟悉的R、Pa
Spark DataFrame详解.zip
05-29
总结来说，Spark DataFrame是Spark中的重要数据结构，它提供了一种声明式的数据处理方式，使得大数据处理更加高效且易读。通过对DataFrame的理解和熟练运用，开发者能够更好地驾驭Spark，进行大规模数据的清洗、转换...
spark dataframe 将一列展开,把该列所有值都变成新列的方法
09-19
import org.apache.spark.sql.functions._ // 假设 beijingGeoHourPopAfterDrop 是原始 DataFrame val pivots = beijingGeoHourPopAfterDrop .groupBy("geoHash") // 按地理位置分组 .pivot("hour") // 将 "hour...
JAVA spark创建DataFrame的方法
09-07
在Spark大数据处理框架中，DataFrame是一种高效且灵活的数据抽象，它提供了一种表格形式的数据集表示，支持SQL查询和其他高级数据分析。在Java中操作Spark DataFrame，我们需要了解几个关键概念和步骤，这通常包括...
spark sql functions
luyee2010的专栏
03-22 669
org.apache.spark.sql.functions是一个Object，提供了很多函数。 https://spark.apache.org/docs/2.3.1/api/java/org/apache/spark/sql/functions.html
spark的window窗口函数
01-09
spark窗口函数的测试代码和数据 主要包括 countByKeyValueAndWindow reduceByKeyAndWindows
Spark SQL functions
zhixingheyi_tian的博客
10-26 610
Functions
Spark DataFrame 函数
Code_LT的博客
02-19 901
DataFrame 一旦被创建，则可被DataFrame, column和 function中的函数操作，这些函数叫做 domain-specific-language (DSL) 函数。   DataFrame函数和RDD一样，也分为action和transformation，且后者是惰性的。   Spark 1.5.1函数： dataframe： http://spark.apac...
spark.sql.functions函数
m0_64683883的博客
11-29 1173
org.apache.spark.sql.functions类中所有的函数，时间函数，聚合函数，字符串函数，窗口函数，排序函数等
Spark SQL functions.scala 源码解析（四）Non-aggregate functions （基于 Spark 3.3.0）
Shockang的博客
12-21 2937
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
Spark SQL 函数全集
热门推荐
Liam's Blog (AI & BigData)
03-23 4万+
Summary org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。 version 2.3.0 大部分支持Colum...
Spark SQL functions.scala 源码解析（三）Window functions （基于 Spark 3.3.0）
Shockang的博客
12-13 3928
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
spark 常用类，常用函数，spark DataFrame函数，funcation库
最新发布
m0_64683883的博客
10-13 755
函数后面，通常用来用作条件判断，跟when函数进行结合，when相当于if，otherwise相当于else，例：我需要判断两个值那个大，如果第一个值更大就返回大，如果小就返回小，如果相等就返回相等。启用Hive支持，包括连接到持久的HIve metastore，支持Hive serdes和Hive用户定义函数，如果不启用hive支持，spark是找不到hive中的表的。聚合函数：返回具有重复对象的列表，注意：该函数是不确定的，因为收集结果的顺序取决于行顺序，而行顺序在shuffle后可能是不确定的。
spark学习之sparksql中dataframe的常用函数
Carnation_s的博客
10-11 3195
SparkSql-DataFrame 一、DataFrame的相关方法 1、show 作用：展示数据 show(numRows:Int,truncate:Boolean) show(numRows:Int) numRows：表示展示的行数（默认展示20行） Truncate:只有两个取值true,false,表示一个字段是否最多显示20个字符，默认为true 2、collect 作用：获取一个dataframe的里面的数据 形成的是一个数组 注意：返回的是一个array 适用于数据量比较小的场景
spark sql 和dataframe总结
03-16
Spark SQL和DataFrame是Spark中最重要的两个组件之一，它们提供了一种高效的方式来处理大规模的结构化和半结构化数据。 Spark SQL是一个用于结构化数据处理的模块，它提供了一种基于SQL的接口来查询数据。Spark SQL支持多种数据源，包括Hive、JSON、Parquet、Avro等。Spark SQL还提供了一种高级的功能，如窗口函数、聚合函数、UDF等。 DataFrame是一个分布式的数据集合，它以表格的形式组织数据，并提供了一组API来操作数据。DataFrame支持多种数据源，包括CSV、JSON、Parquet、Avro等。DataFrame还提供了一些高级的功能，如过滤、聚合、排序、分组等。 总的来说，Spark SQL和DataFrame是Spark中最重要的两个组件之一，它们提供了一种高效的方式来处理大规模的结构化和半结构化数据。它们的使用非常灵活，可以根据具体的需求选择合适的API来操作数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值