【技术员的工具箱】千万数据生产环境更改方案

原创 2016年08月28日 19:23:42

最近需要给公司的某系统的表进行千万级别数据的加密。但是该系统作为公司的基础系统,外部业务访问频次高,且该系统无法做出长时间的停机挂牌,因此需要提供一套方案,尽量压缩系统的停机时间,在尽可能短的时间内完成千万级别的数据加密任务。

方案的基本思路是:
以8月20日作为分界点,建立临时表,备份8月20日之前的表数据。对该备份表进行加密处理。8月20日以后的数据作为增量数据,进行增量的处理。存量数据和增量数据在处理完成后,任务结束。

(1)DB对需要加密的两张表进行备份为table_a_bak_20160820,table_b_bak_20160820,并进行加密处理。加密完成,验证。(这一部分未明确操作方法,应该是通过dump等方式),无停机,10点半至12点半完成,耗时约2个小时。
(2)系统停机。
(3)创建增量数据备份表,在备份表中进行增量数据加密处理。耗时约0.5小时
create table table_a_bak_20160823 like table_a;
create table table_b_bak_20160823 like table_b;

insert into table_a_20160823 select * from table_a where upt_time >= str_to_date(‘2016-08-20’,’%Y-%M-%d’);
insert into table_b_20160823 select * from table_b where upt_time >= str_to_date(‘2016-08-20’,’%Y-%M-%d’);

(4)将增量数据合并到存量的数据备份表中。
replace into table_a_bak_20160820 select * from table_a_bak_20160823;
replace into table_b_bak_20160820 select * from table_b_bak_20160823;

(5)此时增量数据均以合并到存量备份表当中。耗时约5分钟。

rename table table_a to per table_a_tmp;
rename table table_a_bak_20160820 to table_a;

rename table table_b to per table_b_tmp;
rename table table_b_bak_20160820 to table_b;

(5)系统重新启动,完成千万级别数据的数据更改。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

屌炸天实战 MySQL 主从复制、备份恢复方案生产环境实战

那好吧,读这篇文章的人好帅啊! 元芳,你怎么看?使劲在下面评论吧。 你给我点赞,我教你实战!   本章内容: 主从复制简介原理备份主库及恢复从库,配置从库生效读写分离如果主宕机了,怎么办...

生产环境事故排插方案--介绍篇

ps:整理了部分生产环境错误的排插手段,未完待续,欢迎大家评论提出更好的事故排插的方法和方式~ 遇到问题,不要慌,确定问题的影响范围,对症下药进行处理

使用git服务器实现生产环境应用服务器代码更新管理的方案

方案的缘由是生产机房除指定的两台管理主机外,其它应用主机均不开放公网SSH管理端口。在对应用主机上的应用进行源码更新时,虽然可以借助架设的堡垒机或lrzsz工具实现大小文件、甚至批量文件的传输,但lr...

06.30 生产环境MySQL数据库集群MHA上线实施方案

第一章 不停库操作1. 在所有节点安装MHA node所需的perl模块(需要有安装epel源)yum install perl-DBD-MySQL -y2. 在所有的节点安装mha noderpm ...

windows系统下搭建linux虚拟机及安装各种生产环境的统一解决方案

所用技术:vagrant ,VirtualBox ,putty。不知道vagrant的同学,这里提供链接可以去了解一下他们是做什么用的。 安装: 下载上述三个软件并安装,安装完之后把put...

docker挂载本地目录并映射端口,生产环境中的docker部署方案(多端口多容器)

本文解决两个问题: 1.如何在启动docker的时候将本地目录挂载到docker运行容器中? 2.如何在生产环境中进行docker的部署?部署前相比于传统的部署方式有哪些优缺点? 开始: 1....

大数据平台生产环境部署指南

总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下: 服务器数量:6 操作系统:Cento...

自学大数据:用以生产环境的Hadoop版本比较

一、背景介绍 生产环境中,hadoop的版本选择是一个公司架构之时,很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见,或者指正,希望大家能交流。 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)