Java连MySQL性能调优（batch insert和连续left join筛选）

2019独角兽企业重金招聘Python工程师标准>>>

之前一个数据校验功能遇到严重性能瓶颈

插入数据居然需要22秒，优化后0.38秒

一个联合join校验需要42秒，优化后1.87秒

一个增删改对比显示union的sql需要49秒，优化后1.023秒

 

1、首先是batch的问题：

　　在本项目中，使用了org.springframework.jdbc.core.JdbcTemplate类作为数据库链接服务。批量插入时，调用jdbcTemplate.batchUpdate方法进行批量插入，然而插入速度不尽如人意，非常缓慢。问题点在于，明明使用了batchUpdate而不是逐条插入，为何会出现插入缓慢的问题呢？

　　原来在链接MySQL的时候，并没有设置自动合并多个insert的功能，导致还是变成了逐条插入。正确的方式是，修改MySQL链接参数，添加关键字段rewriteBatchedStatements=true，详细如下：

jdbc:mysql://test_host:3306/test_schemas1?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&rewriteBatchedStatements=true

　　添加这个rewriteBatchedStatements参数设置后，batch插入从原来的22秒变成了0.38秒，速度提升明显。

 

2、接着是一个联合join的校验问题。

　　项目需求一个3表join，以左表为基准，进行2次连续的left join且附带筛选条件。调优前运行缓慢，需要44秒。

　　原先采用一条sql解决所有问题，后改为首先用3条sql将3个表的最新记录筛选下来，再用Map<String, List<String> >数据结构记录key和重复的项，遍历进行java式的join，由于全部运算基于hashmap且在内存中运行，速度非常快

　　调优后速度变为1.87秒

 

3、最后是个增删改对比显示的sql问题

　　这段SQL的原来思路是先left join，右表为null的就是相对右表新增的；再inner join，把对比修改的字段都判断一遍，不全相等的就是左表相对右表更改的；最后再right join，把左表为null的筛出来，说明这是左表相对右表删除的。最后最后，把3个查出来的结果再union起来。整个查询时间非常漫长，需要49秒。

　　优化后的代码，将左表和右表分别用DAO载下来，然后通过HashMap来进行对比，大致代码如下：

Map<String, String[]> mapA = dbData;
Map<String, String[]> mapB = upload;
Map<String, String[]> mapBadd = new HashMap<String, String[]>(mapB);
Map<String, String[]> mapBdel = new HashMap<String, String[]>();
Map<String, String[]> mapBchange = new HashMap<String, String[]>();

Iterator<String> it = mapA.keySet().iterator();

while (it.hasNext()) {
        String key = it.next();
        String[] val = mapA.get(key);

        if (mapB.containsKey(key)) {
                String[] bVal = mapB.get(key);

                if (val != null && val.equals(bVal) || Arrays.equals(val, bVal)) {
                } else {
                        String[] changeVal = new String[val.length + bVal.length];
                        System.arraycopy(val, 0, changeVal, 0, val.length);
                        System.arraycopy(bVal, 0, changeVal, val.length, bVal.length);
                        mapBchange.put(key, changeVal);
                }
                mapBadd.remove(key);
        } else {
                // A里面有的，B没有的
                mapBdel.put(key, val);
        }
}

　　优化后仅需要1.023秒，非常快。

 

转载于:https://my.oschina.net/u/2996334/blog/1925726