解决mysql导入数据过慢问题

最新推荐文章于 2024-09-13 10:28:35 发布

讓之

最新推荐文章于 2024-09-13 10:28:35 发布

阅读量1.8k

点赞数 1

分类专栏：数据库随记文章标签： mysql source命令数据库导入大数据量大数据量

本文链接：https://blog.csdn.net/qq_42049516/article/details/103985518

版权

数据库随记专栏收录该内容

9 篇文章 2 订阅

订阅专栏

目前遇到一个问题，mysql使用source命令导入 *.sql 数据文件时，运行的很慢，大概一秒钟插入个一两百条左右的样子，对于大的文件来说这个太慢了，从其他博主那边搜集了一些方案，简单说就是一句话：SET GLOBAL innodb_flush_log_at_trx_commit = 2;

1.登入mysql

mysql -uroot -p***

2.查看mysql中对于参数 innodb_flush_log_at_trx_commit 的配置

show global variables where variable_name = 'innodb_flush_log_at_trx_commit';

3.修改

SET GLOBAL innodb_flush_log_at_trx_commit = 2;

修改完成后在次执行相同的文件，200M大约200w+条的数据在1分钟左右。

对于该参数的不同值的说明：

1.innodb_flush_log_at_trx_commit参数为 0
       binlog_group_flush && thd_flush_log_at_trx_commit(NULL) == 0 条件成立，因此直接return了，那么这种情况下log_buffer_flush_to_disk函数不会调用，因此不会做redo刷盘。依赖master线程。
    2.innodb_flush_log_at_trx_commit参数为 1
       !binlog_group_flush|| thd_flush_log_at_trx_commit(NULL) == 1 返回为1即为True，因此调用log_buffer_flush_to_disk(True)，因此需要做redo刷盘，也要做sync。
    3.innodb_flush_log_at_trx_commit参数为 2
       !binlog_group_flush|| thd_flush_log_at_trx_commit(NULL) == 1 返回为0即为Flase，因此调用log_buffer_flush_to_disk(Flase)，因此需要做redo刷盘，不做sync。依赖OS的刷盘机制。