解决MYSQL大表改字段慢的问题!

Mysql如何加快大表的ALTER TABLE操作速度

MYSQLALTER TABLE操作的性能对大表来说是个大问题。MYSQL执行大部分修改表结构操作的方法是用新的表结构创建一个空表,从旧表中查出所有数据插入新表,然后删除旧表。这样操作可能需要花费很长时间,如果内存不足而表又很大,而且还有很多索引的情况下尤其如此。许多人都有这样的经验,ALTER TABLE操作需要花费数个小时甚至数天才能完成。

一般而言,大部分ALTER TABLE操作将导致MYSQL服务中断。对常见的场景,能使用的技巧只有两种:

  • 一种是先在一台不提供服务的机器上执行ALTER TABLE操作,然后和提供服务的主库进行切换;

  • 另外一种技巧就是“影子拷贝”影子拷贝技巧是用要求的表结构创建一张新表,然后通过重命名和删表操作交换两张表。

不是所有的ALTER TABLE操作都会引起表重建。例如,有两种方法可以改变或删除一个列的默认值(一种方法很快,另一种则很慢)。

假如要修改电影的默认租赁期限,从三天改到五天。下面是很慢的方式:

mysql> ALTER TABLE film modify column rental_duration tinyint(3) not null default 5;

SHOW STATUS显示这个语句做了1000次读和1000次插入操作。换句话说,它拷贝了整张表到一张新表,甚至列的类型、大小和可否为null属性都没有改变。

理论上,MYSQL可以跳过创建新表的吧步骤。列的默认值实际上存在表的.frm文件中,所以可以直接修改这个文件而不需要改动表本身。然而MYSQL还没有采用这种优化的方法,所以MODIFY COLUMN操作都将导致表重建。

另外一种方法是通过ALTER COLUMN操作来改变列的默认值;

mysql> ALTER TABLE film ALTER COLUMN rental_duration set DEFAULT 5;

这个语句会直接修改.frm文件而不涉及表数据。所以这个操作是非常快的。

只修改.frm文件

从上面的例子我们看到修改表的.frm文件是很快的,但MYSQL有时候会在没有必要的时候也重建表。如果愿意冒一些风险,可以让MYSQL做一些其他类型的修改而不用重建表。

注意 下面要演示的技巧是不受官方支持的,也没有文档记录,并且也可能不能正常工作,采用这些技术需要自己承担风险。>建议在执行之前首先备份数据!

下面这些操作是有可能不需要重建表的:

  • 移除(不是增加)一个列的AUTO_INCREMENT属性。

  • 增加、移除,或更改ENUMSET常亮。如果移除的是已经有行数据用到其值的常量,查询将会返回一个空字符串。

步骤:

  1. 创建一张有相同结构的空表,并进行所需要的修改(例如:增加ENUM常量)。

  2. 执行FLUSH TABLES WITH READ LOCK。这将会关闭所有正在使用的表,并且禁止任何表被打开。

  3. 交换.frm文件。

  4. 执行UNLOCK TABLES 来释放第二步的读锁。

下面以给film表的rating列增加一个常量为例来说明。当前列看起来如下:

mysql> SHOW COLUMNS FROM film LIKE 'rating';
FieldTypeNullKeyDefaultExtra
ratingenum('G','PG','PG-13','R','NC-17')YES
G

假设我们需要为那些对电影更加谨慎的父母们增加一个PG-14的电影分级:

mysql> CREATE TABLE film_new like film;
mysql> ALTER TABLE film_new modify column rating ENUM('G','PG','PG-13','R','NC-17','PG-14') DEFAULT 'G';
mysql> FLUSH TABLES WITH READ LOCK;

注意,我们是在常量列表的末尾增加一个新的值。如果把新增的值放在中间,例如:PG-13之后,则会导致已经存在的数据的含义被改变:已经存在的R值将变成PG-14,而已经存在的NC-17将成为R,等等。

接下来用操作系统的命令交换.frm文件:

/var/lib/mysql/sakila# mv film.frm film_tmp.frm
/var/lib/mysql/sakila# mv film_new.frm film.frm
/var/lib/mysql/sakila# mv film_tmp.frm film_new.frm

再回到Mysql命令行,现在可以解锁表并且看到变更后的效果了:

mysql> UNLOCK TABLES;
mysql> SHOW COLUMNS FROM film like 'rating'\G

****************** 1. row*********************

Field: rating
Type: enum('G','PG','PG-13','R','NC-17','PG-14')

最后需要做的是删除为完成这个操作而创建的辅助表:

mysql> DROP TABLE film_new;
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
MYSQL的大表需要修改字段时,可能会因为表数据量过大导致修改操作变得缓。为了解决这个问题,可以考虑以下几个方案: 1. 使用ALTER TABLE语句的ALGORITHM选项:ALTER TABLE语句可以使用ALGORITHM选项,用来控制表结构的变更方式。可以选择使用INPLACE或COPY方式,INPLACE方式会直接修改表结构,但是不支持所有的表结构变更操作。COPY方式则会创建一个新表,将数据从旧表复制到新表,然后替换旧表。但是,这种方式需要消耗大量的时间和空间。 2. 使用pt-online-schema-change:pt-online-schema-change是一个开源工具,可以在不阻塞表的情况下修改大表的结构。它会创建一个新表来存储修改后的表结构,然后在后台将旧表数据复制到新表。最后,将旧表重命名为一个备份表,将新表重命名为旧表的名称。这种方式需要安装Percona Toolkit。 3. 分批次修改:将大表分成多个小表,然后分批次修改表结构。这种方式可以减少每次修改数据量,避免整个修改过程变得缓。但是,需要根据实际情况来划分小表,避免影响查询性能。 4. 优化服务器硬件:如果服务器硬件不足,可能会导致表结构修改变得缓。可以考虑升级硬件,增加CPU、磁盘和内存等资源,以提高服务器性能。 以上是几个解决MYSQL大表改字段问题的方案,需要根据实际情况来选择最适合的方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java开发高级进阶公众号

苦不堪言

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值