项目所需,给datax加了一些功能,除了密码加密外,还有datax字符集乱码检查、datax超时报错退出等等。文笔不太好......如过有人看到且需要的话,欢迎留言我发给你源码。
一、密码加密
在ConfigParser类中配置加密,访问json路径,获取到文件后进行加密。经过测试,发现还有其他类要调用这个方法获取json内容,并且只有第一次读取json的时候是全量的json,其他时候从内部某层嵌套开始,不包含job这一层,所以要进行判断 是否是第一次获取json文件。(改代码的时候距离写文章有点久了,有点忘了哪里还要用到这个方法,但是肯定是需要这个判断不然会报错,可以自行测试....)
二、字符集检查。
首先在TransformerRegistry定义自己的transformer。
然后编写transformer。这里是根据字节码判断是否在GBK范围内,根据配置的json可以设定当字节码不在范围时,舍去这个三个字节码(GBK中文是三个),或者舍弃整行内容。