总所周知,数据库最昂贵的操作莫过于DDL操作,因为MySQL在修改表期间会阻塞任何读写操作的,基本上你的业务出于瘫痪状态了。对于庞大的可能历时好几个小时才完成,简直就是个恶梦,没法容忍的操作。
Percona开发了一系列工具Percona Toolkit包,其中有一工具pt-online-schema-change可以在线执行DDL操作,不会阻塞读写操作从而影响业务程序。当然啦,MySQL 5.6也增强了一些在线DDL功能。下面主要是说pt-online-schema-change在线更改表结构。
pt-online-schema-change原理
1、如果存在外键,根据alter-foreign-keys-method参数的值,检测外键相关的表,做相应设置的处理。
2、创建一个新的表,表结构为修改后的数据表,用于从源数据表向新表中导入数据。
3、创建触发器,用于记录从拷贝数据开始之后,对源数据表继续进行数据修改的操作记录下来,用于数据拷贝结束后,执行这些操作,保证数据不会丢失。
4、拷贝数据,从源数据表中拷贝数据到新表中。
5、修改外键相关的子表,根据修改后的数据,修改外键关联的子表。
6、rename源数据表为old表,把新表rename为源表名,并将old表删除。
7、删除触发器。
官网下载最新版的rpm包,然后yum本地安装,自动解决依赖等问题,最好这样安装。
wget https://www.percona.com/downloads/percona-toolkit/3.0.4/binary/redhat/7/x86_64/percona-toolkit-3.0.4-1.el7.x86_64.rpm
yum install percona-toolkit-3.0.4-1.el7.x86_64.rpm
执行,比如给BorrowOrders表增加一个字段
time pt-online-schema-change --host=10.153.1.200 --port=3306 --user=prod --password="yourpasswd" --alter="ADD COLUMN internalCode VARCHAR(32) DEFAULT '0'" --execute D=trade,t=BorrowOrders --set-vars innodb_lock_wait_timeout=50 --no-check-replication-filters --recursion-method=none
如果发生了类似如下错误:
Threads_running=58 exceeds its critical threshold 50
解决办法:
添加:
"--critical-load Threads_running=100"项
此之外,还可以监测下是否有冗余索引
time pt-duplicate-key-checker --host=10.153.1.200 --port=3306 --user=prod --password="yourpasswd",D=trade --tables=Persons