前文回顾:
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
《DataX-Web 源码调试及打包》
《DataX 二次开发支持 Oracle 更新数据》
在使用任务批量构建功能过程中,偶然发现异构数据库之间表的对应关系错乱,最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上,因为大小写的ASCII码不一样,就比如 mysql 导入到 oracle,我们可以做如下改动。
方法一:排序时忽略大小写。
方法二:两边先全部转大写或小写排序,再取出原表名。如下
修改com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl
类 的 getTables() 方法
@Override
public List<String> getTables(Long id, String tableSchema) throws IOException {
//获取数据源对象
JobDatasource datasource = jobDatasourceService.getById(id);
//queryTool组装
if (ObjectUtil.isNull(datasource)) {
return Lists.newArrayList();
}
if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {
return new HBaseQueryTool(datasource).getTableNames();
} else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {
return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());
} else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {
//如果是MYSQL或者ORACLE 对表名重新排序
BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);
if (StringUtils.isBlank(tableSchema)) {
List<String> list = qTool.getTableNames();
return parseList(list);
} else {
List<String> list = qTool.getTableNames(tableSchema);
return parseList(list);
}
} else {
BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);
if (StringUtils.isBlank(tableSchema)) {
return qTool.getTableNames();
} else {
return qTool.getTableNames(tableSchema);
}
}
}
/**
* 将集合内容大写并重新排序,然后返回原表名
*
* @param list
* @return
* @date 20220821 12"52
*/
private List<String> parseList(List<String> list) {
List<String> upList = new ArrayList<>();
List<String> resultList = new ArrayList<>();
Map<String,String> map=new HashMap<>();
for (String str : list) {
//转为大写加入新集合
String upStr = str.toUpperCase();
upList.add(upStr);
map.put(upStr,str);
}
//对集合重新排序
Collections.sort(upList);
//顺序取出原表名
for (String upstr : upList) {
String oldStr=map.get(upstr);
resultList.add(oldStr);
}
return resultList;
}
更多技术干货,请持续关注程序员大佬超。
原创不易,转载请注明出处。