快速将大数据（超过1T）导入mysql库

1、源数据超过1T，且都是sql文件，文件大小不等，有的文件大于100G

2、硬件环境：一台liunx服务器，8核32G+5块1T的磁盘（a,b,c,d,e单块磁盘最大写入速度30M/S）

3、mysql版本为5.6

4、要求：24小时内将数据全部导入

问题分析：

      考虑到导入过程中还会生成操作日志和索引等类容，数据导入后所需的存储空间将远大于1T， 单独一块磁盘肯定无法满足需求，这里有两个方案：

      方案1，将2块1T的磁盘合成一块2T的磁盘，优点全库的数据都可以放在合并后的逻辑分区，操作起来简单，缺点读写性能对比单块磁盘略有下降，并不是想象中的1+1=2而是1+1<1，鉴于要求是快速导入数据，所以该方案不可取

      方案2，mysql的databasedir为a盘，启动一个mysql实例，创建5个数据库，将数据存放目录分别指向每块磁盘，优点：能最大化利用所有磁盘的IO资源，缺点：数据分散到5个库，不便于关联查询，考虑到本次需求不涉及关联查询，不影响实际使用。

实施方案2：

      第一步，优化mysql参数配置，考虑到本次需求的特性，为了获得最好的性能，对my.conf做如下优化，数据库引擎为INNODB

datadir=/a/mysql_data

1、innodb_buffer_pool_size=22G

2、innodb_log_buffer_size = 32M

3、innodb_log_file_size=4G

4、innodb_flush_log_at_trx_commit = 2

5、sync_binlog=500

6、thread_cache_size=64

7、innodb_write_io_threads = 8

8、innodb_read_io_threads = 8

9、innodb_thread_concurrency = 0

10、innodb_log_files_in_group = 3

第二部，mysql数据库存放在不同磁盘，这样同时向多个库导入数据时，每个库独享一块磁盘的IO资源，能最大化利用硬件资源

1、创建数据库database2，这时在/a/mysql_data目录下会创建一个目录database2，并且下面有一个文件db.opt

2、重名名database2 mv /a/mysql_data/database2 /a/mysql_data/database2_bak

3、创建目录 mkdir /b/mysql_extdata/database2

4、授权 chown -R mysql:mysql /b/mysql_extdata/database2

5、ln -s /b/mysql_extdata/database2 /a/mysql_data/database2

6、chown -R mysql:mysql /a/mysql_data/database2

7、mv /a/mysql_data/database2_bak/db.opt /a/mysql_data/database2

这样就实现了将数据库存放到非datadir指定的目录

后记：笔者测试结果为，每个库的导入数据能稳定在15G/h，总速度为75G/h,理论上14个小时可以完成任务，但实际耗时24小时，主要是因为导大表（单个sql文件大于100G）的效率较低，还在寻找其他优化方法。

有一种优化思路但未实际操作，记在此处与大家分享：

采用分库分表的方式，将大于100Gsql文件，平均拆分成5个文件，分表导入5个库中，整体效率可以提升20倍。