[置顶] pt-archiver使用注意事项

20人阅读 评论(0) 收藏 举报
分类:
-where 'id<3000' 设置操作条件
--limit 10000 每次取1000行数据给pt-archive处理
--txn-size 1000 设置1000行为一个事务提交一次
--progress 5000 每处理5000行输出一次处理信息
--statistics 结束的时候给出统计信息:开始的时间点,结束的时间点,查询的行数,归档的行数,删除的行数,以及各个阶段消耗的总的时间和比例,便于以此进行优化。只要不加上--quiet,默认情况下pt-archive都会输出执行过程的
--charset=UTF8 指定字符集为UTF8,字符集需要对应当前库的字符集来操作
--no-delete 表示不删除原来的数据,注意:如果不指定此参数,所有处理完成后,都会清理原表中的数据
--bulk-delete 批量删除source上的旧数据
--bulk-insert 批量插入数据到dest主机 (看dest的general log发现它是通过在dest主机上LOAD DATA LOCAL INFILE插入数据的)
--purge 删除source数据库的相关匹配记录
--local 不把optimize或analyze操作写入到binlog里面(防止造成主从延迟巨大)
--analyze=ds 操作结束后,优化表空间(d表示dest,s表示source)
默认情况下,pt-archiver操作结束后,不会对source、dest表执行analyze或optimize操作,因为这种操作费时间,并且需要你提前预估有足够的磁盘空间用于拷贝表。一般建议也是pt-archiver操作结束后,在业务低谷手动执行analyze table用以回收表空间。

1)注意--source后的DSN之间不能空格出现,否则会出错。 --where条件的值,有字符串的,要用引号括起来。 
2) --limit表示,每组一次删除多少条数据(注意:如果数据比较多时,也可以设置大一些,减少循环次数),最终的清理操作,还是通过Where pK=xx来处理的;

批量插入与非批量插入
    删除采用DELETE FROM TABLE WHERE ... ,每次删除一行数据
    插入采用INSERT INTO TABLE VALUES('...'),每次插入一行数据
    批量删除采用DELETE FROM TABLE WHERE ... LIMIT 10000
    批量插入采用LOAD DATA LOCAL INFILE 'file' INTO TABLE ...

1、全表归档,不删除原表数据,非批量插入----批量插入
pt-archiver --source h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --dest h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --statistics --no-delete ##

pt-archiver --source h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --dest h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert --bulk-delete --statistics --no-delete

2、数据归档,删除原表数据,非批量插入、非批量删除--批量插入、批量删除
pt-archiver --source h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --dest h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --statistics --purge

pt-archiver --source h=172.16.1.10,P=3306,u=backup_user,p='xxx',,D=test123,t=c1 --dest h=172.16.1.10,P=3306,u=backup_user,p='xxx',D=test123,t=c1 --charset=UTF8 --where '1=1' --progress 10000 --limit=10000 --txn-size 10000 --bulk-insert --bulk-delete --statistics --purge


3、用于把数据导出文件,不用删除原表中数据
pt-archiver --source h=127.0.1.1,P=3306,D=test,t=test --charset=UTF8 --where 'itemID>100' --progress 1000 --file "/tmp/aa.txt" --limit=10000 --no-delete

查看评论

pt-archiver

用于清理数据、归档数据 [root@slave159 opt]# pt-archiver --version pt-archiver 2.2.15 [root@slave159 opt]# pt-a...
  • gua___gua
  • gua___gua
  • 2015-09-29 15:43:32
  • 1215

如何利用pt-archiver工具归档和清理数据

数据库管理员经常会遇到需定期对数据进行归档和清除,DBA可利用mysql中percona的pt-archiver工具能完成这一功能,使得数据归档变得方便简单。 下面是对数据归档和清除实例: 查看表的大...
  • zengxuewen2045
  • zengxuewen2045
  • 2016-07-27 21:48:56
  • 3540

优雅地使用pt-archiver进行数据归档

导读 作者:蓝剑锋 TCL高级DBA,MySQL&Oracle OCP 知数堂MySQL实战/优化班第12期学员 微信:lanjian106103 个人公众号:DBARUN ...
  • n88Lpo
  • n88Lpo
  • 2017-11-28 00:00:00
  • 681

MySQL数据归档实战-Python和pt-archiver的强强结合

导读作者:蓝剑锋TCL高级DBA,MySQL&Oracle OCP知数堂MySQL实战/优化班第12期学员微信:lanjian106103个人公众号:DBARUN一、引言前段时间,在优雅的使用pt-a...
  • n88Lpo
  • n88Lpo
  • 2017-12-26 00:00:00
  • 314

pt-table-checksum 中文使用说明

pt-table-checksum主要用来检查主从数据是否一致,原理即在主库执行把表每行的列通过concat函数进行拼接,然后对拼接的值进行hash,并把该动作通过binlog传递到从库,从而在从库上...
  • shaochenshuo
  • shaochenshuo
  • 2016-11-09 15:49:43
  • 1404

mysql toolkit 用法[备忘]

mysql toolkit 是一个小插件,用于对数据库进行监控,分析的小工具, 通常都是调用 perl 对当前的环境,数据库进行分析,比对,值得学习一下。...
  • signmem
  • signmem
  • 2013-12-20 16:00:01
  • 4251

使用 pt-online-schema-change 修改大表时异常退出 Exiting on SIGHUP 的问题

昨天晚上为了回收表空间,打算用pt-online-schema-change对一张58G的大表进行
  • lidan3959
  • lidan3959
  • 2014-05-18 15:49:14
  • 1241

关于redis使用的一些注意事项

1.首先redis使用默认无密码,如果想要有密码就必修修改配置文件redis.conf(或者redis.windows.conf、redis.windows-service.conf,选择一个感觉都一...
  • qq_34798605
  • qq_34798605
  • 2018-01-25 15:35:33
  • 58

MySQL索引注意事项

索引使用注意: JOIN 索引,所有匹配ON和where的字段应建立合适的索引。 唯一值越多的字段,使用索引的效果越好。设置联合索引时,唯一值越多的,越应该放在“左侧”。 如果可...
  • ydwei918
  • ydwei918
  • 2015-04-21 10:51:06
  • 412

使用SVN注意事项

iOS 开发中svn的使用以及注意事项
  • feng2qing
  • feng2qing
  • 2015-12-15 13:57:46
  • 1408
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 966
    排名: 5万+
    最新评论