DATAX缺陷-connection资源不释放

最新推荐文章于 2024-02-21 21:29:00 发布

vincent_4070

最新推荐文章于 2024-02-21 21:29:00 发布

阅读量2.6k

点赞数 5

分类专栏： datax 文章标签： DATAX缺陷之connection资源不释放

本文链接：https://blog.csdn.net/weixin_42893759/article/details/98958499

版权

datax 专栏收录该内容

0 篇文章

订阅专栏

DATAX缺陷-connection资源不释放

近日在项目中引入datax开源组件，在业务运行过程中出现了目标库Too many connections提示。
测试中使用datax实现业务背景：
1.ETL：mysql->mysql 。
2.表数量1000张。
3.datax相关流控参数使用基本默认配置。
4.datax使用方式线程启动，job与表一一对应。

BUG描述：程序运行至300张表左右（此值与目标库最大连接数有关），提示目标库Too many connections。

第一反应使用Jprofiler工具对应用节点JDBC资源进行实时监控，发现有大量connction一直被datax进程持有。
以下图为修改完datax漏洞前后业务数据库资源释放情况对比。

修改缺陷前，可以看到随着datax对表处理量逐渐增加，jdbc持有数量也程序上升趋势，并伴随整个进程生命周期

修改缺陷后，再次运行相同业务，发现jdbc连接资源得到释放。
修改缺陷后，再次运行相同业务，发现jdbc连接资源得到释放

解决过程：
1.通过右击上面第一张图中某个链接，查看此链接中的Events动作指令集，发现只有open,select/updata/delete/insert，但最后没有close指令发生，由此可判定是连接资源没有被close
2.每个指令后面一列Thread,可以看到当前连接所属的线程名称信息。
3.通过select/updata/delete/insert具体sql指令，发现SQL中执行select cloumn from table where 1=2,结合具体代码从而定位到
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil->dealColumnConf()，具体代码块如下：

public static void dealColumnConf(Configuration originalConfig, ConnectionFactory connectionFactory, String oneTable) {
        List<String> userConfiguredColumns = originalConfig.getList(Key.COLUMN, String.class);
        if (null == userConfiguredColumns || userConfiguredColumns.isEmpty()) {
            throw DataXException.asDataXException(DBUtilErrorCode.ILLEGAL_VALUE,
                    "您的配置文件中的列配置信息有误. 因为您未配置写入数据库表的列名称，DataX获取不到列信息. 请检查您的配置并作出修改.");
        } else {
            boolean isPreCheck = originalConfig.getBool(Key.DRYRUN, false);
            List<String> allColumns;
            if (isPreCheck){
                allColumns = DBUtil.getTableColumnsByConn(DATABASE_TYPE,connectionFactory.getConnecttionWithoutRetry(), oneTable, connectionFactory.getConnectionInfo());
            }else{
                allColumns = DBUtil.getTableColumnsByConn(DATABASE_TYPE,connectionFactory.getConnecttion(), oneTable, connectionFactory.getConnectionInfo());
            }

            LOG.info("table:[{}] all columns:[\n{}\n].", oneTable,
                    StringUtils.join(allColumns, ","));

            if (1 == userConfiguredColumns.size() && "*".equals(userConfiguredColumns.get(0))) {
                LOG.warn("您的配置文件中的列配置信息存在风险. 因为您配置的写入数据库表的列为*，当您的表字段个数、类型有变动时，可能影响任务正确性甚至会运行出错。请检查您的配置并作出修改.");

                // 回填其值，需要以 String 的方式转交后续处理
                originalConfig.set(Key.COLUMN, allColumns);
            } else if (userConfiguredColumns.size() > allColumns.size()) {
                throw DataXException.asDataXException(DBUtilErrorCode.ILLEGAL_VALUE,
                        String.format("您的配置文件中的列配置信息有误. 因为您所配置的写入数据库表的字段个数:%s 大于目的表的总字段总个数:%s. 请检查您的配置并作出修改.",
                                userConfiguredColumns.size(), allColumns.size()));
            } else {
                // 确保用户配置的 column 不重复
                ListUtil.makeSureNoValueDuplicate(userConfiguredColumns, false);

                // 检查列是否都为数据库表中正确的列（通过执行一次 select column from table 进行判断）
                DBUtil.getColumnMetaData(con, oneTable,StringUtils.join(userConfiguredColumns, ","));
            }
        }
    }

// 检查列是否都为数据库表中正确的列（通过执行一次 select column from table 进行判断）
DBUtil.getColumnMetaData(con, oneTable,StringUtils.join(userConfiguredColumns, “,”));
重点：==================》此处未对con进行关闭操作，
修改此处代码为：

				Connection con = connectionFactory.getConnecttion();
                try{
                    DBUtil.getColumnMetaData(con, oneTable,StringUtils.join(userConfiguredColumns, ","));
                }catch (Exception ex){
                }finally {
                    DBUtil.closeDBResources(null,con);
                }