SparkSQL 自定义算子UDF、UDAF、UDTF

最新推荐文章于 2024-07-29 11:49:46 发布
最新推荐文章于 2024-07-29 11:49:46 发布
阅读量7.2k 收藏 12
点赞数 4
分类专栏： Spark 文章标签： sparksql 自定义算子 udtf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laksdbaksjfgba/article/details/87162906
版权

背景

我根据算子输入输出之间的关系来理解算子分类：

UDF——输入一行，输出一行
UDAF——输入多行，输出一行
UDTF——输入一行，输出多行

本文主要是整理这三种自定义算子的具体实现方式

使用的数据集——用户行为日志user_log.csv，csv中自带首行列头信息，字段定义如下：
1. user_id | 买家id
2. item_id | 商品id
3. cat_id | 商品类别id
4. merchant_id | 卖家id
5. brand_id | 品牌id
6. month | 交易时间:月
7. day | 交易事件:日
8. action | 行为
9. age_range | 买家年龄分段
10. gender | 性别
11. province| 收获地址省份

新手上路，有任何搞错的地方，或者走了弯路，还请大家不吝指出，帮我进步。



SparkSQL算子分类


1. UDF

通过匿名函数的方式注册自定义算子

object UserAnalysis {
  def main(args:Array[String]): Unit ={

    //测试数据所在的本地路径
    val userDataPath = "file:///home/hadoop/data_format/small_user_log.csv"

    //创建sparksession
    val sparkSession = SparkSession
      .builder
      .master("local")
      .appName("UserAnalysis")
      .enableHiveSupport()      //启用hive
      .getOrCreate()

    //sparksession直接读取csv,可设置分隔符delimitor.
    val userDF = sparkSession.read
      .option("header","true")
      .csv(userDataPath)

    //将DataFrame注册成视图,然后即可使用hql访问
    userDF.createOrReplaceTempView("userDF")

    //通过匿名函数的方式注册自定义算子：将0和1分别转换成female和male
    sparkSession.udf.register("getGender",(gender:Integer)=>{
      var result="unknown"
      if (gender==0){
        result="female"
      }else if(gender==1){
        result="male"
      }
      result
    })

    val genderDF = sparkSession.sql("select getGender(gender) as A from userDF")

    //显示DataFrame内容
    genderDF.show(10)
  }
}

通过实名函数的方式注册自定义算子

object UserAnalysis {
  def main(args:Array[String]): Unit ={

    //测试数据所在的本地路径
    val userDataPath = "file:///home/hadoop/data_format/small_user_log.csv"

    //创建sparksession
    val sparkSession = SparkSession
      .builder
      .master("local")
      .appName("UserAnalysis")
      .enableHiveSupport()      //启用hive
      .getOrCreate()

    //sparksession直接读取csv,可设置分隔符delimitor.
    val userDF = sparkSession.read
      .option("header","true") 
      .csv(userDataPath)

    //将DataFrame注册成视图,然后即可使用hql访问
    userDF.createOrReplaceTempView("userDF")

    /*
    通过实名函数的方式注册自定义算子
    Scala中方法和函数是两个不同的概念，方法无法作为参数进行传递，
    也无法赋值给变量，但是函数是可以的。在Scala中，利用下划线可以将方法转换成函数：
    */
    sparkSession.udf.register("getGender",getGender _)

    val genderDF = sparkSession.sql("select getGender(gender) as A from userDF")

    //显示DataFrame内容
    genderDF.show(10)
  }

  //将0和1分别转换成female和male
  def getGender(gender:Integer): String ={
    var result="unknown"
    if (gender==0){
      result="female"
    }else if(gender==1){
      result="male"
    }
    result
  }
}

通过以上两种方式实现相同算子，得到相同的结果：
在这里插入图片描述

2. UDAF

通过实现抽象类org.apache.spark.sql.expressions.UserDefinedAggregateFunction来自定义UDAF算子

class UserDefinedMax extends UserDefinedAggregateFunction{

  //定义输入数据的类型,两种写法都可以
  //override def inputSchema: StructType = StructType(Array(StructField("input", IntegerType, true)))
  override def inputSchema: StructType = StructType(StructField("input", IntegerType) :: Nil)

  //定义聚合过程中所处理的数据类型
  override def bufferSchema: StructType = StructType(Array(StructField("cache", IntegerType, true)))

  //定义输入数据的类型
  override def dataType: DataType = IntegerType

  //规定一致性
  override def deterministic: Boolean = true

  //在聚合之前，每组数据的初始化操作
  override def initialize(buffer: MutableAggregationBuffer): Unit = {buffer(0) =0}

  //每组数据中，当新的值进来的时候，如何进行聚合值的计算
  override def update(buffer: MutableAggregationBuffer, input: Row): Unit = {
    if(input.getInt(0)> buffer.getInt(0))
      buffer(0)=input.getInt(0)
    }

  //合并各个分组的结果
  override def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = {
    if(buffer2.getInt(0)> buffer1.getInt(0)){
      buffer1(0)=buffer2.getInt(0)
    }
  }

  //返回最终结果
  override def evaluate(buffer: Row): Any = {buffer.getInt(0)}
}

测试代码

object UserAnalysis {
  def main(args:Array[String]): Unit ={

    //测试数据所在的本地路径
    val userDataPath = "file:///home/hadoop/data_format/small_user_log.csv"

    //创建sparksession
    val sparkSession = SparkSession
      .builder
      .master("local")
      .appName("UserAnalysis")
      .enableHiveSupport()      //启用hive
      .getOrCreate()

    //sparksession直接读取csv,可设置分隔符delimitor.
    var userDF = sparkSession.read
      .option("header","true")
      .csv(userDataPath)

    //转换dataframe字段类型或字段名
    import org.apache.spark.sql.functions._
    userDF = userDF .withColumn("item_id", col("item_id").cast(IntegerType))

    //将DataFrame注册成视图,然后即可使用hql访问
    userDF.createOrReplaceTempView("userDF")

    //注册算子，如果UserDefinedMax是object，不用new
    sparkSession.udf.register("UserDefinedMax", new UserDefinedMax)

    //测试sparksql内嵌max算子结果
    val MaxDF = sparkSession.sql("select max(item_id) from userDF")

    MaxDF.show

    //测试用户自定义max算子结果
    val UserDefinedMaxDF = sparkSession.sql("select UserDefinedMax(item_id) from userDF")

    UserDefinedMaxDF.show
  }
}

可以看到两个max算子的输出相同：
在这里插入图片描述
在这里插入图片描述

3. UDTF

通过实现抽象类org.apache.hadoop.hive.ql.udf.generic.GenericUDTF来自定义UDTF算子

class UserDefinedUDTF extends GenericUDTF{

  //这个方法的作用：1.输入参数校验  2. 输出列定义，可以多于1列，相当于可以生成多行多列数据
  override def initialize(args:Array[ObjectInspector]): StructObjectInspector = {
    if (args.length != 1) {
      throw new UDFArgumentLengthException("UserDefinedUDTF takes only one argument")
    }
    if (args(0).getCategory() != ObjectInspector.Category.PRIMITIVE) {
      throw new UDFArgumentException("UserDefinedUDTF takes string as a parameter")
    }

    val fieldNames = new util.ArrayList[String]
    val fieldOIs = new util.ArrayList[ObjectInspector]

    //这里定义的是输出列默认字段名称
    fieldNames.add("col1")
    //这里定义的是输出列字段类型
    fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector)

    ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs)
  }

  //这是处理数据的方法，入参数组里只有1行数据,即每次调用process方法只处理一行数据
  override def process(args: Array[AnyRef]): Unit = {
    //将字符串切分成单个字符的数组
    val strLst = args(0).toString.split("")
    for(i <- strLst){
      var tmp:Array[String] = new Array[String](1)
      tmp(0) = i
      //调用forward方法，必须传字符串数组，即使只有一个元素
      forward(tmp)
    }
  }

  override def close(): Unit = {}
}

测试代码

object UserAnalysis {
  def main(args:Array[String]): Unit ={

    //测试数据所在的本地路径
    val userDataPath = "file:///home/hadoop/data_format/zxc/small1.csv"

    //创建sparksession
    val sparkSession = SparkSession
      .builder
      .master("local")
      .appName("UserAnalysis")
      .enableHiveSupport()      //启用hive
      .getOrCreate()

    //sparksession直接读取csv,可设置分隔符delimitor.
    var userDF = sparkSession.read
      .option("header","true")
      .csv(userDataPath)

    //将DataFrame注册成视图,然后即可使用hql访问
    userDF.createOrReplaceTempView("userDF")

    //注册utdf算子，这里无法使用sparkSession.udf.register()
    sparkSession.sql("CREATE TEMPORARY FUNCTION UserDefinedUDTF as 'com.zxc.sparkAppTest.udtf.UserDefinedUDTF'")

    //使用UDTF算子处理原表userDF
    val UserDefinedUDTFDF = sparkSession.sql(
      "select " +
          "user_id," +
          "item_id," +
          "cat_id," +
          "merchant_id," +
          "brand_id," +
          "month," +
          "day," +
          "action," +
          "age_range," +
          "gender," +
          "UserDefinedUDTF(province) " +
        "from " +
          "userDF"
    )

    UserDefinedUDTFDF.show
  }
}

对比原表和经UDTF算子处理之后的结果表：
在这里插入图片描述
在这里插入图片描述

► 小结

  • 关于UDF
    简单粗暴的理解，它就是输入一行输出一行的自定义算子
    我们可以通过实名函数或匿名函数的方式来实现，并使用sparkSession.udf.register()注册
    需要注意，截至目前（spark2.4）最多只支持22个输入参数的UDF

    另外还有一种实现方案(基于spark1.5，spark2.4待测试)：
    继承org.apache.hadoop.hive.ql.exec.UDF


  • 关于UDAF
    简单粗暴的理解，它就是输入多行输出一行的自定义算子，比UDF的功能强大一些
    通过实现抽象类org.apache.spark.sql.expressions.UserDefinedAggregateFunction来实现UDAF算子，并使用sparkSession.udf.register()注册

    另外还有一种实现方案(基于spark1.5，spark2.4待测试)：
    先继承org.apache.hadoop.hive.ql.exec.UDAF
    内部静态类实现org.apache.hadoop.hive.ql.exec.UDAFEvaluator


  • 关于UDTF
    简单粗暴的理解，它就是输入一行输出多行的自定义算子，可输出多行多列，又被称为 “表生成函数”
    通过实现抽象类org.apache.hadoop.hive.ql.udf.generic.GenericUDTF来实现UDTF算子，但是似乎无法使用sparkSession.udf.register()注册。注册方法如下：

sparkSession.sql("CREATE TEMPORARY FUNCTION 自定义算子名称 as '算子实现类全限定名称'")

   实现UDTFf还需要注意(基于spark1.5，可能已过时)：
   udtf，process方法中对参数需要使用toString，String强转没用
   sparksql子查询必须要有别名
   算子内部使用竖线切分字符串时，需要转义
   udtf调用forward方法，必须传字符串数组，即使只有一个元素

以上就是全部内容，持续更新，请多提宝贵意见

AtongWood
关注
专栏目录
大数据学习之路89-sparkSQL自定义函数计算ip归属地
爱米酱的博客
10-09 295
使用sparkSQL当遇到业务逻辑相关的时候，就有可能会搞不定。因为业务l逻辑需要写很多代码，调用很多接口。这个时候sql就搞不定了。那么这个时候我们就会想能不能将业务逻辑嵌入到sql中？ 这种就类似于我们在hive中使用过的自定义函数UDF(user define function用户自定义函数) 那么用户自定义函数有几种呢 有三种： 第一种就是UDF  1 - 1 (输入一行得到一个结...
【SparkSQL】SparkSQL的UDF及分析
迪焱的博客
03-24 1570
目标掌握SparkSQL中register方式定义UDF函数实施特点：最常用的方式，既能用于SQL中，也能用于DSL中语法UDF变量名 = spark.udf.register(UDF函数名, 函数的处理逻辑)定义：spark.udf.register()UDF变量名：DSL中调用UDF使用的UDF函数名：SQL中调用UDF使用需求原始数据：datas/udf/music.tsv01 周杰伦 150/17502 周杰 130/18503 周华健 148/178目标结果。
Spark算子
JasonChen3318的博客
05-07 554
1.parallelize 1.解释 - 并行集合的创建（RDD） 使用已经存在的迭代器或者集合通过调用spark驱动程序提供的parallelize函数来创建并行集合 - 并行集合被创建用来在分布式集群上并行计算的。 2.例子 data = [1, 2, 3, 4, 5] distData = sc.parallelize(data) 一旦创建RDD，RDD，就可以在集群上并行的去被操作。我...
Spark的算子的分类
kgars1的博客
10-16 1716
从大方向来说，Spark 算子大致可以分为以下两类:      1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。      2）Action 行动算子：
Hive中的用户自定义函数：UDF、UDAF、UDTF的区别
最新发布
My_wife_QBL的博客
07-29 717
用户自定义函数（UDF）是Hive中最基本的自定义函数类型。它允许用户根据自己的需求，创建可以在HiveQL查询中使用的函数。UDF通常用于进行数据转换、格式化和计算等操作。用户自定义聚合函数（UDAF）允许用户定义聚合逻辑，这种逻辑通常需要在数据集中对多行数据进行处理并返回一个单一结果。UDAF在数据分析中非常常见，适合用于执行统计、汇总等操作。用户自定义表生成函数（UDTF）是一种特殊类型的自定义函数，它允许用户从输入行生成多行输出。UDTF非常适合用于处理复杂的数据结构，如拆分字符串、展开数组等。
SparkSql自定义函数--UDTF
别人笑我太疯癫，我笑他人看不穿。
02-15 552
最后说一点，当你有udtf的需求时，我们很少会去使用spark的基础上去自定义udtf函数，这一点刚入行的朋友或许很纳闷，但其实从名词的角度来说，spark甚至是flink框架都没有自己的udtf，但是从功能实现来讲是有的。但是spark和flink不是这样的，udtf的核心思想就是一进多出，归根结底是将一条数据进行膨胀，最终的结果还能和原数据保持联系，说到这里思想活跃的朋友可能已经反应过来了，spark和flink两个框架，自身提供了。如果你并不是要使用hive上的数据那么就不需要hive的xml文件。
常见的transformation 和 Action
weixin_30765577的博客
03-28 98
常见transformation map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除。 flatMap 与map...
Spark --Spark SQL自定义函数 UDF UDAF UDTF
kismet
04-12 2330
自定义函数分类 类似于hive当中的自定义函数， spark同样可以使用自定义函数来实现新的功能。 spark中的自定义函数有如下3类 1.UDF(User-Defined-Function) 输入一行，输出一行 2.UDAF(User-Defined Aggregation Funcation) 输入多行，输出一行 3...
SparkSQL之自定义函数UDF和UDAF
Lu_Xiao_Yue的博客
11-11 526
SparkSQL中有两种自定函数，在我们使用自带的函数时无法满足自己的需求时，可以使用自定义函数，SparkSQL中有两种自定义函数，一种是UDF，另一种是UDAF，和Hive 很类似，但是hive中还有UDTF,一进多出，但是sparkSQL中没有，这是因为spark中用 flatMap这个函数，可以实现和udtf相同的功能 UDF函数是针对的是一进一出 UDAF针对的是多进一出 udf很简单，...
SparkSQL中的自定义函数UDF、UDAF、UDTF（附UDF实现案例）
奇迹虎虎的博客
02-26 1350
UDF 函数（User-Defined-Function）一对一的关系，UDAF 聚合函数（User-Defined Aggregation Function）多对一的关系，UDTF 函数（User-Defined Table-Generating Functions）一对多的关系。
PySpark | SparkSQL函数 | SparkSQL运行流程
liujiesxs的博客
06-28 1266
SparkSQL函数定义，SparkSQL整合Hive
25个经典Spark算子的JAVA实现
08-16
1、25个经典Spark算子的JAVA实现。2、含有详细的注释。3、全部通过junit测试。
Spark基础开发与sparkSql开发
weixin_42660202的博客
03-22 2602
spark与sparksql开发
sparksql整合hive
F_fighting117的博客
09-08 356
RDD、dataframe和dataset的区别： RDD：弹性分布式数据集：对spark中的数据一种抽象（一种类：封装了各种对象和方法），也是一种数据结构 特点： 1.弹性（数据可以在内存也可以在磁盘、容错性：一个task失败了会自动重试不要手动操作，重试默认是从血缘关系链的头开始、手动持久化了之后从持久化的地方开始）、 2.分布式（一个RDD数据散落在不同节点） 3.数据集：从hdfs加载到内存，持久化到磁盘 dataframe：起源于python的pandas，等于RDD（数据）+schema（元
hive 算子和用户自定义函数 UDF UDAF UDTF
飞朋的博客
12-13 735
Table of Contents Built-in Operators 关系运算符 算术运算符 逻辑运算符 字符串操作符 复杂类型构造函数 复杂类型上的运算符 Built-in Functions Built-in Aggregate Functions (UDAF) Built-in Table-Generating Functions (UDTF) 使用样例 Bui...
spark中的各种算子分类
weixin_38842096的博客
11-20 1207
1、Trasformtion算子 union、reduceByKey、groupBy、join、map、mapPartition 、cogroup、parallelize、textFile、leftoutJoin、flatMap、coalesce、Repartition 2、Action算子 count、take、collect、foreach、foreachPartition、saveAsTex...
spark的算子
diskindom的博客
11-23 1041
Spark中的单Value算子是指对一个RDD中的每个元素进行操作，并返回一个新的RDD。这些单Value算子能够对RDD中的每个元素进行处理，并返回一个新的RDD，可以用于各种数据转换、过滤、去重等操作。
使用sparksql 和 hive api 代码实现用户自定义函数udf udaf udtf
03-16
使用SparkSQL和Hive API，可以通过以下步骤实现用户自定义函数（UDF）、聚合函数（UDAF）和表生成函数（UDTF）： 1. 编写自定义函数的代码，例如： ``` // UDF def myUDF(str: String): Int = { str.length } //...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值