【技术员的工具箱】千万数据生产环境更改方案

原创 2016年08月28日 19:23:42

最近需要给公司的某系统的表进行千万级别数据的加密。但是该系统作为公司的基础系统,外部业务访问频次高,且该系统无法做出长时间的停机挂牌,因此需要提供一套方案,尽量压缩系统的停机时间,在尽可能短的时间内完成千万级别的数据加密任务。

方案的基本思路是:
以8月20日作为分界点,建立临时表,备份8月20日之前的表数据。对该备份表进行加密处理。8月20日以后的数据作为增量数据,进行增量的处理。存量数据和增量数据在处理完成后,任务结束。

(1)DB对需要加密的两张表进行备份为table_a_bak_20160820,table_b_bak_20160820,并进行加密处理。加密完成,验证。(这一部分未明确操作方法,应该是通过dump等方式),无停机,10点半至12点半完成,耗时约2个小时。
(2)系统停机。
(3)创建增量数据备份表,在备份表中进行增量数据加密处理。耗时约0.5小时
create table table_a_bak_20160823 like table_a;
create table table_b_bak_20160823 like table_b;

insert into table_a_20160823 select * from table_a where upt_time >= str_to_date(‘2016-08-20’,’%Y-%M-%d’);
insert into table_b_20160823 select * from table_b where upt_time >= str_to_date(‘2016-08-20’,’%Y-%M-%d’);

(4)将增量数据合并到存量的数据备份表中。
replace into table_a_bak_20160820 select * from table_a_bak_20160823;
replace into table_b_bak_20160820 select * from table_b_bak_20160823;

(5)此时增量数据均以合并到存量备份表当中。耗时约5分钟。

rename table table_a to per table_a_tmp;
rename table table_a_bak_20160820 to table_a;

rename table table_b to per table_b_tmp;
rename table table_b_bak_20160820 to table_b;

(5)系统重新启动,完成千万级别数据的数据更改。

版权声明:本文为博主原创文章,未经博主允许不得转载。

MYSQL千万级数据量的优化方法积累

转自:http://blog.sina.com.cn/s/blog_85ead02a0101csci.html 1、分库分表 很明显,一个主表(也就是很重要的表,例如用户表)无限制的增...
  • shellching
  • shellching
  • 2015年12月16日 10:14
  • 1313

如何处理千万级以上的数据

大数据处理是一个头疼的问题,特别当达不到专业DBA的技术水准时,对一些数据库方面的问题感到无赖。所以还是有必要了解一些数据库方面的技巧,当然,每个人都有自己的数据库方面的技巧,只是八仙过海,所用的武功...
  • chenjian98306
  • chenjian98306
  • 2015年12月16日 19:12
  • 2227

Mysql 千万级数据量插入和查询应该怎么优化

关于插入: 宏观上:建二个表,其中一个表不建主键,不键索引。只记录,到了晚上,在把这个表的记录导入 有主键有索引的表里。方法的目的,二表,一表为插入最优化,另一表为查询最优化。 微观上:以下是涉及...
  • evan_endian
  • evan_endian
  • 2013年03月08日 19:31
  • 10613

mysql 千万级数据的删除

mysql 千万级数据的删除 1.在使用mysql时候,有时候需要将全部(千万级数据)删除 使用的命令 TRUNCATE TABLE name 参数 ...
  • liuxingyu_21
  • liuxingyu_21
  • 2017年01月03日 11:47
  • 991

怎样玩转千万级别的数据

大数据处理是一个头疼的问题,特别当达不到专业DBA的技术水准时,对一些数据库方面的问题感到无赖。所以还是有必要了解一些数据库方面的技巧,当然,每个人都有自己的数据库方面的技巧,只是八仙过海,所用的武功...
  • qq_26562641
  • qq_26562641
  • 2016年10月18日 09:39
  • 650

MongoDB千万级数据的分析

转载自:http://my.oschina.net/tianyongke/blog/171172 所有试验都是只针对所有数据进行统计分析,不针对某条数据的分析。 一、导入 清单1: ...
  • ivan820819
  • ivan820819
  • 2013年11月24日 11:04
  • 3041

Redis千万级的数据量的性能测试

转自:http://www.cnblogs.com/lovecindywang/archive/2011/03/03/1969633.html 从上篇的图中可以猜测到还会有Redis 2...
  • mergerly
  • mergerly
  • 2015年02月04日 20:39
  • 2678

Mysql千万级别数据优化方案

Mysql千万级别数据优化方案 目录 目录... 1 一、         目的与意义... 2 1)     说明... 2 二、         解决思路与根据(本测试表中数据在...
  • yangshufengyrtyfyu
  • yangshufengyrtyfyu
  • 2014年04月11日 13:30
  • 2056

MySQL插入千万级记录

场景:     当产品中需要对用户进行过滤的时候,需要对用户添加白名单。如果一次需要导入千万级的用户量,普通的SQL插入/更新耗时长久,执行效率低下。为加快数据库的插入效率,需要对程序和数据库设置进...
  • chenwiehuang
  • chenwiehuang
  • 2017年05月01日 22:36
  • 463

利用MATLAB 2016a进行BP神经网络的预测(含有神经网络工具箱)

利用MATLAB 2016a进行BP神经网络的预测(含有神经网络工具箱)     最近一段时间在研究如何利用预测其销量个数,在网上搜索了一下,发现了很多模型来预测,比如利用回归模型、时间序列...
  • houshaolin
  • houshaolin
  • 2017年07月03日 18:26
  • 7292
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【技术员的工具箱】千万数据生产环境更改方案
举报原因:
原因补充:

(最多只允许输入30个字)