IDEA的Maxcomputer Studio开发

一、安装

　　在IDEA中File > Settings > Plugins中Browse repositories搜索安装即可：MaxCompute Studio

二、开发UDF、UDAF、UDTF

　　//开发SQL脚本等暂不赘述，推荐DataWorks

　　1.创建module（project）

　　　　file->new->project，类型选择Maxcomputer java

 　　　　

　　项目建成后目录简要说明：

　　　　1.src：源码

　　　　2.example：示例，可参考

　　　　3.warehouse：本地运行时存放示例数据等

　　2.开发调试UDF/UDTF/UDAF

　　　　maven的依赖等由插件完成，直接在src->main->java中新建，new->maxcomputer java，kind选择对应的UDF类型即可！

　　　　

　　3.调试UDF/UDTF/UDAF

　　　　测试数据在warehouse中，其中schema存放元数据，data存放数据，例如：

　　　　

　　　　数据：

　　　　

　　　　注意：

warehouse目录下依次是项目名，tables，表名，表schema和sample data。
schema文件依次配置项目名，表名，以及列名和类型（冒号分隔），分区表还需配置分区列（非分区表参考wc_in1，分区表参考wc_in2）。
data文件采用标准csv格式存储表的sample数据：
特殊字符为逗号，双引号和换行（\n或\r\n）
列分隔符为逗号，行分隔符为\n或\r\n
如果列内容里包含特殊字符，需要在该列内容前后加上双引号，例如：3,No -> “3, No”
如果列内容包含双引号，则每个双引号转义成两个双引号，例如：a”b”c -> “a””b””c”
\N表示该列为null，如果该列内容（string 类型）就是\N，需要转换为 “””\N”””
文件字符编码为UTF-8

　　运行设置：

　　　　右击UDF类，单击运行，弹出run configuration对话框，设置输入表与字段等

　　　　

 

　　#注意：

　　　　插件会有本身的很多测试代码，直接打包可能会报错，我们可以直接在terminal运行跳过测试的打包命令：

 

1. mvn clean 清理上次生成的

2. mvn package -Dmaven.test.skip=true

 

 

 

　　#python版本敬请期待！

转载于:https://www.cnblogs.com/jiangbei/p/10100785.html