mysql 为大表添加索引,导致超时的解决办法

mysql 为大表添加索引,导致超时的解决办法

简单的创建索引语句 : create unique index inxName on table A('Col') 。 

如果表数据量不大,没有问题,但是数据超过千万,可能你等了半天,却告知你超时了。

网上查到解决方案:

1. 复制表A 的数据结构 , 不复制数据

create table B like A;

2. 表B加上你需要的索引

3. 把原有数据导入新表 

4. 修改表A 的名称为A_old , 修改B表的 表名为A.  

我的问题出在步骤3. 

使用如下语句导入A表数据到B :

insert into B select * from A; 

执行了半天,又提示错误 table x  is full。 

网上找到另一种导入方式,即把A表数据导入文件,然后load 进B表 

select * from A into outfile '/var/money.txt'; 
load data infile '/var/money.txt' into table B; -- 这个路径需要和show variables like '%secure%'; 一致

我执行的时候提示没有权限,需要开启secure_file_priv 相关权限 ,我没有root用户权限,所以就放弃该方案了。 

解决: 

insert into B select * from A;   错误提示  table x  is full , 那就是一次导入太大。 那我改小点就是了,我们数据2000万条。

我按照日期 分组 (注意表A 原有按日期的索引),分组后发现最大的一天有700万条数据。

把导入语句改为 

insert into B select * from A where trans_date = '20190923'; --  执行时间1735s,近30分钟,还好没有报错。

 

 100多万的 46s 搞定,其他数据更少的日期基本几秒可以搞定,最终1个半小时完成数据复制

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用中提到MySQL有三种锁的级别:页级、表级、行级。其中表级锁是一种常见的锁定方式,它的锁快、开销小,但锁定粒度大,可能会导致锁冲突和并发度较低。当在MySQL添加索引时,如果表的数据量很大,就有可能导致表被锁死,即其他操作需要等待索引添加完成才能继续执行,从而造成查询超时和死锁的问题。 引用建议,在一张数据量很大的表上添加索引时,应该谨慎操作,尽量避免轻易添加索引。如果非要添加索引,最好先备份数据表,然后对空表进行添加索引的操作,这样可以减少对表的锁定时间和影响。 另外,如果在添加索引的过程中发现表被锁死,可以通过查看执行语句的线程状态和ID,然后使用kill命令终止该线程,从而释放对表的锁定,解决死锁问题。所以,MySQL添加索引时有可能会锁表,特别是在数据量很大的情况下,因此在进行索引优化时需要注意锁的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [MySQL添加索引导致表死锁问题](https://blog.csdn.net/weixin_42324471/article/details/123899776)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [mysql添加索引导致表锁死](https://blog.csdn.net/u014466635/article/details/119680075)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值