UDTF功能:可以放在sql语句中对单行中某个字段进行处理并且生成一行或者多行数据.
开发工具 Intellij IDEA
1.下载MaxCompute Studio
idea -> File -> settings -> Plugins
搜索‘MaxCompute Studio’
没有的话点击Browse repositories… ,点击Manage repositories…, 点击+,添加以下:
Repository URL: http://odps.alibaba.net/studio/updatePlugins.xmlinstall
安装并重启idea
2.新建MaxComputer Java工程,如图
3.新建MaxComputer Java类
在java包下new一个MaxComputer Java,如图
kind可以选择UDF UDTF等,建好的Java类自动继承UDTF,如图
![](https://i-blog.csdnimg.cn/blog_migrate/e94a9713f67e2599cdd299ac9038afb0.jpeg)
4.编写UDTF
// TODO define input and output types, e.g. "string,string->string,bigint".
@Resolve({"string->string"})
public class Demo extends UDTF {
@Override
public void setup(ExecutionContext ctx) throws UDFException {
}
@Override
public void process(Object[] args) throws UDFException {
String str = (String) args[0];
int count = 0;
while (true) {
forward(str + "->test");
if (count == 2) {
break;
}
}
}
@Override
public void close() throws UDFException {
}
}
5.UDTF Java打包
右击process方法或者空白处,点击Deploy to server,或者使用maven命令打包
然后点击MaxCompute -> 添加资源(resource,如果依赖第三方jar也添加下resource jar包,可以从maven仓库中粘贴过来) -> 如图
MaxCompute project选择自己购买或申请的project环境,如图
成功后创建UDF函数MaxCompute -> 创建UDF,如图
MaxCompute project选择自己购买或申请的project环境,给自己UDF在Funtion中取个名字,例如utf_demo
找到自己上传的resource,如果有第三方jar包,也需要选中它
最后选择自己的Main class,我这里为Demo,然后点击OK
6.使用UDTF
表TABLE_A:
text |
a |
select utf_demo(text) as (text) from TABLE_A;
输出:
a -> test
a -> test
a -> test
踩的坑:
1.MaxComputer沙箱环境对FastJson依赖有限制,建议使用GJSON,必要的话可以把FastJson打成JAR包上传资源表。
2.如果使用udtf的话那么SELECT后面只能跟udtf不能跟其他的字段,如果有需要查询其他字段,可把该字段也作为udtf的入参传进去,utf可以跟其他字段。