1.对于mysql数据库,driverurl中加入:allowMultiQueries=true&rewriteBatchedStatements=true; 这样在使用jdbctemplate插入的时候,类似:
private void insertData(JdbcTemplate insertJdbcTemplate, String insertCoreSql, List<Map<String, Object>> dataList, int cols) {
insertJdbcTemplate.batchUpdate(insertCoreSql, new BatchPreparedStatementSetter() {
@Override
public void setValues(PreparedStatement preparedStatement, int i) throws SQLException {
Map<String, Object> dataMap = dataList.get(i);
for (int index = 1; index <= cols; index++) {
preparedStatement.setObject(index, dataMap.get(index + ""));
}
}
@Override
public int getBatchSize() {
return dataList.size();
}
});
使用mybatis批量插入的时候,类似foreach转成insert into values(),(),(),()...这总, 性能有巨大提升!
2.对于postgresql数据库,或基于postgresql的greenplum数据仓库,driverurl中加入:reWriteBatchedInserts=true,这个是从postgresql的jdbc高版本驱动(9.4.1209开始加,但是有bug)才加入的特性,详细见:https://jdbc.postgresql.org/documentation/changelog.html#version_42.2.2,建议升级驱动到42.2.2版本,否则即使你将sql写成insert into values(),(),(),()这种形式,一样被转化成单条插入。