DATAX缺陷-connection资源不释放
近日在项目中引入datax开源组件,在业务运行过程中出现了目标库Too many connections提示。
测试中使用datax实现业务背景:
1.ETL:mysql->mysql 。
2.表数量1000张。
3.datax相关流控参数使用基本默认配置。
4.datax使用方式线程启动,job与表一一对应。
BUG描述:程序运行至300张表左右(此值与目标库最大连接数有关),提示目标库Too many connections。
第一反应使用Jprofiler工具对应用节点JDBC资源进行实时监控,发现有大量connction一直被datax进程持有。
以下图为修改完datax漏洞前后业务数据库资源释放情况对比。
修改缺陷前,可以看到随着datax对表处理量逐渐增加,jdbc持有数量也程序上升趋势,并伴随整个进程生命周期
修改缺陷后,再次运行相同业务,发现jdbc连接资源得到释放
解决过程:
1.通过右击上面第一张图中某个链接,查看此链接中的Events动作指令集,发现只有open,select/updata/delete/insert,但最后没有close指令发生,由此可判定是连接资源没有被close
2.每个指令后面一列Thread,可以看到当前连接所属的线程名称信息。
3.通过select/updata/delete/insert具体sql指令,发现SQL中执行select cloumn from table where 1=2,结合具体代码从而定位到
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil->dealColumnConf(),具体代码块如下:
public static void dealColumnConf(Configuration originalConfig, ConnectionFactory connectionFactory, String oneTable) {
List<String> userConfiguredColumns = originalConfig.getList(Key.COLUMN, String.class);
if (null == userConfiguredColumns || userConfiguredColumns.isEmpty()) {
throw DataXException.asDataXException(DBUtilErrorCode.ILLEGAL_VALUE,
"您的配置文件中的列配置信息有误. 因为您未配置写入数据库表的列名称,DataX获取不到列信息. 请检查您的配置并作出修改.");
} else {
boolean isPreCheck = originalConfig.getBool(Key.DRYRUN, false);
List<String> allColumns;
if (isPreCheck){
allColumns = DBUtil.getTableColumnsByConn(DATABASE_TYPE,connectionFactory.getConnecttionWithoutRetry(), oneTable, connectionFactory.getConnectionInfo());
}else{
allColumns = DBUtil.getTableColumnsByConn(DATABASE_TYPE,connectionFactory.getConnecttion(), oneTable, connectionFactory.getConnectionInfo());
}
LOG.info("table:[{}] all columns:[\n{}\n].", oneTable,
StringUtils.join(allColumns, ","));
if (1 == userConfiguredColumns.size() && "*".equals(userConfiguredColumns.get(0))) {
LOG.warn("您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*,当您的表字段个数、类型有变动时,可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.");
// 回填其值,需要以 String 的方式转交后续处理
originalConfig.set(Key.COLUMN, allColumns);
} else if (userConfiguredColumns.size() > allColumns.size()) {
throw DataXException.asDataXException(DBUtilErrorCode.ILLEGAL_VALUE,
String.format("您的配置文件中的列配置信息有误. 因为您所配置的写入数据库表的字段个数:%s 大于目的表的总字段总个数:%s. 请检查您的配置并作出修改.",
userConfiguredColumns.size(), allColumns.size()));
} else {
// 确保用户配置的 column 不重复
ListUtil.makeSureNoValueDuplicate(userConfiguredColumns, false);
// 检查列是否都为数据库表中正确的列(通过执行一次 select column from table 进行判断)
DBUtil.getColumnMetaData(con, oneTable,StringUtils.join(userConfiguredColumns, ","));
}
}
}
// 检查列是否都为数据库表中正确的列(通过执行一次 select column from table 进行判断)
DBUtil.getColumnMetaData(con, oneTable,StringUtils.join(userConfiguredColumns, “,”));
重点:==================》 此处未对con进行关闭操作,
修改此处代码为:
Connection con = connectionFactory.getConnecttion();
try{
DBUtil.getColumnMetaData(con, oneTable,StringUtils.join(userConfiguredColumns, ","));
}catch (Exception ex){
}finally {
DBUtil.closeDBResources(null,con);
}
另外说明:以进程方式启动datax,每个job处理少量的table,并随着业务流处理完成,进程生命周期消亡,datax当前进程持有的jdbc连接也将随着释放,所有此种场景下不容易复现此漏洞缺陷。
希望能为遇到同类问题的小伙伴提供到帮助~~~~~~