关于jdbc向mysql和postgresql批量插入大量数据时候的优化!

1.对于mysql数据库,driverurl中加入:allowMultiQueries=true&rewriteBatchedStatements=true; 这样在使用jdbctemplate插入的时候,类似:

private void insertData(JdbcTemplate insertJdbcTemplate, String insertCoreSql, List<Map<String, Object>> dataList, int cols) {
        insertJdbcTemplate.batchUpdate(insertCoreSql, new BatchPreparedStatementSetter() {
            @Override
            public void setValues(PreparedStatement preparedStatement, int i) throws SQLException {
                Map<String, Object> dataMap = dataList.get(i);
                for (int index = 1; index <= cols; index++) {
                    preparedStatement.setObject(index, dataMap.get(index + ""));
                }
            }

            @Override
            public int getBatchSize() {
                return dataList.size();
            }
        });

使用mybatis批量插入的时候,类似foreach转成insert into values(),(),(),()...这总, 性能有巨大提升!

2.对于postgresql数据库,或基于postgresql的greenplum数据仓库,driverurl中加入:reWriteBatchedInserts=true,这个是从postgresql的jdbc高版本驱动(9.4.1209开始加,但是有bug)才加入的特性,详细见:https://jdbc.postgresql.org/documentation/changelog.html#version_42.2.2,建议升级驱动到42.2.2版本,否则即使你将sql写成insert into values(),(),(),()这种形式,一样被转化成单条插入。

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值