1 背景
在数据同步的过程中,会出现一些字段需要脱敏、替换、或者进行特定处理的情况,通常有两种方式,一种是写一个Transformser,然后打包编译进去,这种方式不太灵活。另一种是使用DataX自带的GroovyTransformser插件,
2 原理解析
2.1 参数说明
- 第一个参数: groovy code
- 第二个参数(列表或者为空):extraPackage
- 备注:
- dx_groovy只能调用一次。不能多次调用。
- groovy code中支持java.lang, java.util的包,可直接引用的对象有record,以及element下的各种column(BoolColumn.class,BytesColumn.class,DateColumn.class,DoubleColumn.class,LongColumn.class,StringColumn.class)。不支持其他包,如果用户有需要用到其他包,可设置extraPackage,注意extraPackage不支持第三方jar包。
- groovy code中,返回更新过的Record(比如record.setColumn(columnIndex, new StringColumn(newValue));),或者null。返回null表示过滤此行。
- 用户可以直接调用静态的Util方式(GroovyTransformerStaticUtil),目前GroovyTransformerStaticUtil的方法列表 (按需补充):
- 举例
groovy 实现的Replace
String code = "Column column = record.getColumn(1);\n" +
" String oriValue = column.asString();\n" +
" String newValue = \"****\" + oriValue.substring(3, oriValue.length());\n" +
" record.setColumn(1, new StringColumn(newValue));\n" +
" return record;";
3 功能使用
"transformer":[
{
"name": "dx_groovy",
"parameter": {
"code": "Column column = record.getColumn(0);\nString oriValue = column.asString();\nString sourceString = \"333\";\nString changeString = \"testgroovy\";\nif (oriValue.equals(sourceString)){record.setColumn(1, new StringColumn(changeString));\nreturn record;}\nreturn record;",
"extraPackage": []
}
}
],