mysql过期数据_MySQL过期数据归档和清理--pt--archiver

1、执行命令：pt-archiver  --source h=127.0.0.1,P=58886,D=test,t=t_archive --no-check-charset  --where 'insertdate

1)     注意--source后的DSN之间不能空格出现，否则会出错。 --where条件的值，有字符串的，要用引号括起来。

2) --limit表示，每组一次删除多少条数据(注意：如果数据比较多时，也可以设置大一些，减少循环次数)，最终的清理操作，还是通过Where pK=xx来处理的；

整个流程逻辑，请见上图的代码部分。

执行全过程打印的general_log

46 Query     USE `test`

46 Query    SELECT /*!40001 SQL_NO_CACHE */ `id`,`name`,`insertdate` FROM `test`.`t_archive` FORCE INDEX(`PRIMARY`) WHERE (insertdate

46 Query    DELETE FROM `test`.`t_archive` WHERE (`id` = '1')

46 Query    commit

46 Query     DELETE FROM `test`.`t_archive` WHERE (`id` = '11')

46 Query     commit

46 Query    SELECT /*!40001 SQL_NO_CACHE */ `id`,`name`,`insertdate` FROM `test`.`t_archive` FORCE INDEX(`PRIMARY`) WHERE (insertdate= '11')) LIMIT 2

46 Query     DELETE FROM `test`.`t_archive` WHERE (`id` = '12')

46 Query     commit

46 Query     DELETE FROM `test`.`t_archive` WHERE (`id` = '13')

46 Query     commit

46 Query     SELECT /*!40001 SQL_NO_CACHE */ `id`,`name`,`insertdate` FROM `test`.`t_archive` FORCE INDEX(`PRIMARY`) WHERE (insertdate= '13')) LIMIT 2

46 Query     DELETE FROM `test`.`t_archive` WHERE (`id` = '14')

46 Query     commit

46 Query    SELECT /*!40001 SQL_NO_CACHE */ `id`,`name`,`insertdate` FROM `test`.`t_archive` FORCE INDEX(`PRIMARY`) WHERE (insertdate= '14')) LIMIT 2

46 Query     commit

46 Quit

2、用于把数据导出文件，不用删除原表中数据：

命令使用：

pt-archiver  --source h=127.0.0.1,P=58886,D=test,t=t_info_refresh  --no-check-charset  --where 'AddTime>"2013-05-02"'  --progress 4000  --no-delete --file "/tmp/pt-archiver.dat"  --limit=10000

参数说明：

--statistics  结束的时候给出统计信息：开始的时间点，结束的时间点，查询的行数，归档的行数，删除的行数，以及各个阶段消耗的总的时间和比例，便于以此进行优化。

--progress  每处理progress指定的行数后，就打印一次信息

--no-delete ：表示不删除原来的数据，注意：如果不指定此参数，所有处理完成后，都会清理原表中的数据。

导出数据的基本原理：

通过“过滤条件”，得在此范围内的PK的最大值和最小值 ， 然后通过PK索引， 过滤条件 + pk (此范围内pk的最小值+每次增长limit指定的数) + limit. 这样直到处理完成。

SELECT /*!40001 SQL_NO_CACHE */ `id`,`infoid`,`sortid`,`addtime`,`cateid`,`userid`,`distribution`,`state` FROM `test`.`t_info_refresh` FORCE INDEX(`PRIMARY`) WHERE (A

ddTime>"2013-05-02") AND (`id` < '255410336') AND ((`id` > '255043917')) LIMIT 10000

3、把数据归档到线下数据库(字符集问题是否影响)

使用命令：是从线上数据表，归档到指定的线下数据。

pt-archiver  --source h=127.0.0.1,P=58886,D=test,t=t_info_refresh --dest h=10.5.12.13,P=58886,u=archiver,p=123,D=test,t=t_info_refresh  --no-check-charset  --where 'AddTime>"2013-05-02"'  --progress 5000  --no-delete --limit=10000 --statistics