DataX GroovyTransformser 实现自定义函数UDF

1 背景

在数据同步的过程中，会出现一些字段需要脱敏、替换、或者进行特定处理的情况，通常有两种方式，一种是写一个Transformser，然后打包编译进去，这种方式不太灵活。另一种是使用DataX自带的GroovyTransformser插件，

2 原理解析

2.1 参数说明

• 第一个参数： groovy code
• 第二个参数（列表或者为空）：extraPackage
• 备注：
  • dx_groovy只能调用一次。不能多次调用。
  • groovy code中支持java.lang, java.util的包，可直接引用的对象有record，以及element下的各种column（BoolColumn.class,BytesColumn.class,DateColumn.class,DoubleColumn.class,LongColumn.class,StringColumn.class）。不支持其他包，如果用户有需要用到其他包，可设置extraPackage，注意extraPackage不支持第三方jar包。
  • groovy code中，返回更新过的Record（比如record.setColumn(columnIndex, new StringColumn(newValue));），或者null。返回null表示过滤此行。
  • 用户可以直接调用静态的Util方式（GroovyTransformerStaticUtil），目前GroovyTransformerStaticUtil的方法列表 (按需补充)：
• 举例

groovy 实现的Replace
String code = "Column column = record.getColumn(1);\n" +
                " String oriValue = column.asString();\n" +
                " String newValue = \"****\" + oriValue.substring(3, oriValue.length());\n" +
                " record.setColumn(1, new StringColumn(newValue));\n" +
                " return record;";

3 功能使用

     "transformer":[
                    {
                        "name": "dx_groovy",
                        "parameter": {
                            "code": "Column column = record.getColumn(0);\nString oriValue = column.asString();\nString sourceString = \"333\";\nString changeString = \"testgroovy\";\nif (oriValue.equals(sourceString)){record.setColumn(1, new StringColumn(changeString));\nreturn record;}\nreturn record;",
                            "extraPackage": []
                        }
                    }
                ],

4 参考博客

DataX Transformer从入口到加载的源码分析及UDF扩展与使用
ds_groovy的使用