MaxComputer (ODPS) 之UDF

UDTF功能：可以放在sql语句中对单行中某个字段进行处理并且生成一行或者多行数据.

开发工具 Intellij IDEA

1.下载MaxCompute Studio

idea -> File -> settings -> Plugins 
搜索‘MaxCompute Studio’
没有的话点击Browse repositories… ，点击Manage repositories…， 点击+，添加以下：
Repository URL: http://odps.alibaba.net/studio/updatePlugins.xmlinstall
安装并重启idea

2.新建MaxComputer Java工程，如图

3.新建MaxComputer Java类

在java包下new一个MaxComputer Java，如图

kind可以选择UDF UDTF等，建好的Java类自动继承UDTF，如图

4.编写UDTF

// TODO define input and output types, e.g. "string,string->string,bigint".
@Resolve({"string->string"})
public class Demo extends UDTF {

    @Override
    public void setup(ExecutionContext ctx) throws UDFException {

    }

    @Override
    public void process(Object[] args) throws UDFException {
        String str = (String) args[0];
        int count = 0;
        while (true) {
            forward(str + "->test");
            if (count == 2) {
                break;
            }
        }
    }

    @Override
    public void close() throws UDFException {

    }

}

5.UDTF Java打包

右击process方法或者空白处，点击Deploy to server，或者使用maven命令打包
然后点击MaxCompute -> 添加资源(resource，如果依赖第三方jar也添加下resource jar包，可以从maven仓库中粘贴过来) -> 如图

MaxCompute project选择自己购买或申请的project环境，如图

成功后创建UDF函数MaxCompute -> 创建UDF，如图

MaxCompute project选择自己购买或申请的project环境，给自己UDF在Funtion中取个名字，例如utf_demo
找到自己上传的resource，如果有第三方jar包，也需要选中它
最后选择自己的Main class，我这里为Demo，然后点击OK

6.使用UDTF

表TABLE_A:

text

a

 

 

 

select utf_demo(text) as (text) from TABLE_A;

输出：

a -> test

a -> test

a -> test

踩的坑：

1.MaxComputer沙箱环境对FastJson依赖有限制，建议使用GJSON，必要的话可以把FastJson打成JAR包上传资源表。

2.如果使用udtf的话那么SELECT后面只能跟udtf不能跟其他的字段，如果有需要查询其他字段，可把该字段也作为udtf的入参传进去，utf可以跟其他字段。