DataWorks创建JavaUDF函数全流程

最新推荐文章于 2023-09-27 08:43:19 发布

南风知我意丿

最新推荐文章于 2023-09-27 08:43:19 发布

阅读量1k

点赞数

分类专栏： Data Works 文章标签： java 数据库 jvm

本文链接：https://blog.csdn.net/Lzx116/article/details/128617126

版权

Data Works 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

文章目录

插件下载
创建MaxCompute Studio项目
创建MaxCompute Java Module
编写Java UDF函数
注意

说明：这篇文章只是个人记录下，具体步骤都可以在官网找到。推荐看官网文档哈

插件下载

在这里插入图片描述

创建MaxCompute Studio项目

启动IntelliJ IDEA，在顶部菜单栏，单击File > New > Project。
在New Project对话框的左侧导航栏，选择MaxCompute Studio，单击Next。
单击View > Tool Windows > Project Explorer
单击左上角的+，选择Add project from accessId/Key。
Add MaxCompute project对话框，配置Connection页签信息

创建MaxCompute Java Module

启动IntelliJ IDEA，在顶部菜单栏，单击File > New > Module…。
在New Module对话框的左侧导航栏，单击MaxCompute Java。
配置Module SDK文件位置，单击Next。
填写Module name，单击Finish。

编写Java UDF函数

在Project区域，右键单击Module的源码目录（即src > main > java），选择new > MaxCompute Java。
在Create new MaxCompute java class对话框，单击UDF并填写Name后，按Enter键。例如Java Class名称为Lower。
此时就可以编写代码了

注意

官网给的上传函数和资源的方式是通过Deploy to server...。但是我是自己传到DataWorks上的，这点与官网不同

上传资源：新建资源 --> jar --> 上传资源
创建函数：新建函数 --> 函数名字 --> 选择 jar 包
另外：
如果你的udf函数包含其他依赖，例如fastJson那你就要上传胖包，不然会报Class Not Found的错误

//maven 打包插件
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>3.0.0</version>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>