UDF

转:UDF概述
UDF 全称为 User Defined Function,即用户自定义函数。MaxCompute 提供很多内建函数来满足您的计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。UDF 在使用上与普通的 内建函数 类似,Java 和 MaxCompute 的数据类型的对应关系,请参见 参数与返回值类型。
如果您使用 Maven,可以从 Maven 库 中搜索 odps-sdk-udf,从而获取不同版本的 Java SDK,相关配置信息如下所示:

< dependency>
< groupId>com.aliyun.odps< /groupId>
< artifactId>odps-sdk-udf< /artifactId>
< version>0.20.7-public< /version>
< /dependency>

|

UDF 分类描述
User Defined Scalar Function(通常也称之为 UDF)用户自定义标量值函数(User Defined Scalar Function)。其输入与输出是一对一的关系,即读入一行数据,写出一条输出值 。
UDAF(User Defined Aggregation Function)自定义聚合函数,其输入与输出是多对一的关系, 即将多条输入记录聚合成一条输出值。可以与 SQL 中的 Group By 语句联用。具体语法请参见 聚合函数
UDTF(User Defined Table Valued Function)自定义表值函数,是用来解决一次函数调用输出多行数据场景的,也是唯一能返回多个字段的自定义函数。而 UDF 只能一次计算输出一条返回值。

说明
UDF 广义的说法代表了自定义标量函数,自定义聚合函数及自定义表函数三种类型的自定义函数的集合。狭义来说,仅代表用户自定义标量函数。文档会经常使用这一名词,请读者根据文档上下文判断具体含义 。
SQL 语句中有使用自定义的函数,提示内存不够。请配置 set odps.sql.udf.joiner.jvm.memory=xxxx;。原因是数据量太大并且有倾斜,任务超出默认设置的内存。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值