windows mysql 导入数据过慢处理

1.找到mysql安装目录bin,用cmd打开,如果cmd能直接执行mysql命名最好。

 

2.导入数据命令

#windows执行导入,-p后面的密码直接写,不能有引号和空格 <前后也不能有空格,windows很不友好
mysql -u root -p123456 test<C:\Users\htzz\Desktop\test\test.sql


#linux执行导入,参数后面都挨着,有时不挨着会报错,很奇怪,也可能是我写法有问题吧
mysql -uroot -p'123456' test< /data/test.sql

 

3.直接导入时,如果有中文会出现1366编码错误问题(数据库编码集时utf8,一般cmd编码是gbk,导入编码集不一致就会报错),查询了很多网上的解决方案,都是查询show variables like '%character%'后改编码集,我本地试了很多种还是报错。现在普遍用的都是utf8编码,我不可能将整个数据库改成gbk编码,然后发现cmd直接执行chcp 65001 即可改变编码集(如下图),网上说win7/8/10均可用,该方式为最优解。

ERROR 1366 (HY000) at line 133: Incorrect string value: '\x80\xE5\xA7\x8B' for c
olumn 'ACT_NAME_' at row 1

 

4.导入后通过window的资源监控器发现,mysql.exe的磁盘读写速度最开也就100-200kd/s,太慢了,我一个g的sql文件得导入到什么时候,这个比navicat导入还慢(大概需要两个小时吧),mysql优化如下参数,速度立即提升。

#innodb_flush_log_at_trx_commit参数设置,默认值为1,先修改为2,导入完成后再改成1.该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作
set global innodb_flush_log_at_trx_commit = 2;


#global sync_binlog默认值为1,修改为2000,导入完成后再改成1. 当 sync_binlog =N (N>0) ,MySQL 在每写N次二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去
set global sync_binlog = 2000;

#如果开启了binlog,导入时先关闭后开启
set sql_log_bin=0;

 

5.如上修改后,速度直接能到1-5m/s了,速度快了不少。

总结,通过linux上脚本执行情况看,linux执行mysqldump导出1g左右的数据一般4-20min中左右,linux上导入数据在不修改如上参数的情况下最慢也就十几分钟,完全可以接受不用修改参数影响其他数据库。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当你在MySQL导入大量数据时,可能会遇到一些问题。一个常见的问题是导入速度很,导致耗时较长。这可能是由于默认的配置限制了导入数据的大小。在MySQL中,有一个配置项叫做`max_allowed_packet`,它控制了一次网络传输的最大数据包大小。默认情况下,这个值是4MB。 为了解决这个问题,你可以尝试修改`max_allowed_packet`的值,使其适应你正在导入数据量。你可以在`my.ini`配置文件中找到这个选项,并将其增加到一个更大的值,例如10MB或更大。修改完成后,记得重启MySQL服务,以使修改生效。 此外,如果你面临的是导入速度过的问题,你还可以考虑优化数据库的插入性能。一种常见的方法是使用批量插入,即将多条记录一起插入到数据库中,而不是每条记录都进行一次单独的插入操作。这样可以减少插入操作的次数,从而提高插入速度。 总结起来,当你在MySQL导入大量数据时,你可以尝试以下步骤来解决问题: 1. 修改`max_allowed_packet`配置项的值,使其适应你正在导入数据量。 2. 重启MySQL服务,使修改生效。 3. 考虑使用批量插入的方式来提高插入速度。 希望以上信息对你有帮助,如果还有其他问题,请随时提问。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [mysql快速导入大量数据问题](https://blog.csdn.net/weixin_28761455/article/details/113158471)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [MySQL导入数据量过大报错解决办法](https://blog.csdn.net/qq_42846807/article/details/114304995)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值