DataX踩坑指南

1.编码格式导致读写乱码

Win10的文件默认GBK格式，Mac的文件默认UTF-8

解决办法：使用DataX导入导出数据时reader和writer里要注明文件的编码格式，编码格式错误会导致类型报错，或者导出的数据出现乱码。

2.用csv文件导入导出出现脏数据问题

手动编辑的xls文件，无论数据是否为空，中间都要加上分隔符，否则会出现索引越界的问题

解决办法：补充分隔符，或者使用办公软件编辑excel文件

3.fastjson.JSONObject cannot be cast to java.lang.String

fastjson.JSONObject cannot be cast to java.lang.String

问题发生：使用关系型数据库时读取/写入数据指定了字段的类型
例子-错误写法(oracle):

"column": [
	{"name":"ecode","type":"string"},
	{"name":"scddid","type":"string"}
]

例子-正确写法(oracle):

"column": ["ecode","scddid"]

4.phoenix4.x版本writer错误（hbase11xsqlwriter）

Caused by: java.sql.SQLException: ERROR 726 (43M10):  Inconsistent namespace mapping properites.. 
Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.schema.isNamespaceM
	at org.apache.phoenix.exception.SQLExceptionCode$Factory$1.newException(SQLExceptionCode.java:483)

解决方案：修改以下datax源码，重新编译替换插件

hbase11xsqlwriter的HbaseSQLHelper类 第116行左右：

conn = DriverManager.getConnection(connStr);
替换为：
Properties properties =new Properties(); 
properties.setProperty("phoenix.schema.isNamespaceMappingEnabled", "true");
properties.setProperty("phoenix.schema.mapSystemTablesToNamespace", "true");
conn = DriverManager.getConnection(connStr,properties);

当然也可以改成动态的读取json文件里的配置，我这里就从简了
<-未完待续，持续补充->
有遇到比较奇葩的问题欢迎补充一起探讨~