本文介绍了如何通过并发导入提高MySQL数据导入效率。通过将大SQL文件切分并使用MySQL 5.1版本的改进功能，如调整innodb_flush_log_at_trx_commit和innodb_autoinc_lock_mode，显著减少了导入时间。测试显示并发导入比串行导入更快，特别是在InnoDB表中。
对MySQL的用户而言，备受诟病的一个问题就是导入SQL备份文件时不能并发，使得导入的效率很低。
今天，我们就来改变下思路，尝试一下并发导入的方法，供大家参考。
1、问题分析
想要实现并发导入，其实没那么难，最简单的思路就是：将完整的文件切分成多份，然后并发导入即可。
在这里，我自己的做法是这样的：
1) 首先，假设只有一个库；多个库的情况也是类似，无非就是循环
2) 计算SQL文件总行数
3) 计算SQL文件总大小
4) 设定每个切分文件最大尺寸
5) 初始化表结构
6) 循环处理SQL，按照切分文件最大尺寸切分成多个小文件
7) 并发导入多个小文件
上述方法中，如果数据表是 MyISAM 表，则并发导入没有问题，但如果是 InnoDB 表，则会有表级锁 AUOT-INC 导致并发效率不高的麻烦，尽管如此，那也比单个文件串行导入来的快一些。想要避免这个麻烦，就得采用 MySQL 5.1 版本了，因为在 5.1 中，改进了 AUTO-INC 的处理方式，规避了表级锁，很大程度提高了并发效率。
2、实际测试
事先设定：最大并大导入线程是16个。
2.1 MySQL 5.0.67 版本
innodb_flush_log_at_trx_commit = 1
串行导入：01:51:34
并行导入：01:25:05
innodb_flush_log_at_trx_c
最低0.47元/天 解锁文章
71
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
