mysql大量数据插入优化

场景：插入10000条数据到数据库，表结构user(age,name)

1.普通循环插入

 public void insert() {         

             for (int i = 0; i < 1000; i++) {

                  User u = new User ();

                  u.setAge (i);

                  u.setName (i);

                  userMapper.insert (u);

            }

}

Insert into user(age,name) value(?,?);

Insert into user(age,name) value(?,?);

…….

执行时间：30s。

2.批量插入

我们将普通循环插入数据改为批量插入

 public void insert() {         

       ArrayList<User> list = new ArrayList<>();       

       for (int i = 0; i < 1000; i++) {

                  User u = new User ();

                  u.setAge (i);

                  u.setName (i);

                  list.add(u);

           }

      userMapper.insertBatch (list);

 }

Insert into user(age,name) values(?,?),(?,?),(?,?),(?,?),…..

执行时间：0.03s

批量插入执行效率高的主要原因是合并后日志量（binlog和innodb的事务日志）减少了，降低日志刷盘的数据量和频率，从而提高效率；同时也能减少SQL语句解析的次数，减少网络传输的IO

注意：SQL语句是有长度限制，在进行数据合并在同一SQL中务必不能超过SQL长度限制，通过max_allowed_packet配置可以修改，默认是1M，测试时修改为合适大小。

3. 在事务中循环插入

我们将普通循环插入数据改为在事物中循环插入

@Transactional

public void insert() {         

             for (int i = 0; i < 1000; i++) {

                User u = new User ();

                u.setAge (i);

                u.setName (i);

                userMapper.insert (u);

            }

}

start  transaction;

Insert into user(age,name) value(?,?);

Insert into user(age,name) value(?,?);

…….

Commit;

执行时间：0.3s

这是因为在普通循环中每进行一个INSERT操作时，MySQL内部都会建立一个事务，在事务内才进行真正插入处理操作。在事物中循环插入可以减少创建事务的消耗，所有插入都在执行后才进行提交操作。

注意：事务需要控制大小，事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项，超过这个值会把innodb的数据刷到磁盘中，这时，效率会有所下降。所以比较好的做法是，在数据达到这个这个值前进行事务提交