datax修复\N脏数据

下载datax源码
修改datax源码plugin-unstructured-storage-util下的UnstructuredStorageReaderUtil.class

加上一个判断，因为在hdfs中，null值存储的是 \N ,所以需要把它转换成 null存储到Mysql中

Type type = Type.valueOf(columnType.toUpperCase());
// it's all ok if nullFormat is null
if (columnValue.equals(nullFormat) || columnValue.equals("\\N")) {
   LOG.info("********** string的 原始值 为 "+columnValue+" ******");
   columnValue = null;
}

打包

你可以只打包自己的需要的

然后会生成/${DATAX_Home}/target/datax/datax/plugin/xxreader

最后替换官网下的datax.tar.gz中的xxreader和xxwriter

博主公众号
求关注