揭秘：甜橙金融如何实现PB级数据跨千公里的零丢失迁移

随着业务的发展，企业IT系统变得越来越庞大和复杂，给运维带来了巨大的压力。因此，将系统、网络、数据库资源集中起来形成云化的标准管控、合理瘦身，成为企业首要面临的问题。而云技术与方案的不断成熟，则加速了企业上云的脚步。

作为国内互联网金融行业的尝试者和践行者，甜橙金融从2015年开始，对IT系统进行梳理整理，打造并构建了基于标准化和规范化的IT管理平台。刚刚过去的第七届数据技术嘉年华上，甜橙金融技术总监张小虎首次揭秘甜橙金融云化改造历程。

互联网与传统金融行业的融合形成了互联网金融行业，经过几年的发展，互联网金融无论在技术上，设备上，还是功能上，都逐渐趋于成熟，成为独立于传统金融的全新产业链。而随着移动技术的进步，基于移动端的互联网新金融模式成为行业新的趋势。

中国电信集团于2011年成立了天翼电子商务有限公司（即甜橙金融），是其布局互联网金融的重要一环。甜橙金融旗下拥有翼支付、甜橙理财、甜橙信用、甜橙保险等多个业务板块。其中，翼支付作为甜橙金融旗下的第三方支付平台，致力于为个人、企业提供“安全、便捷、时尚”的支付解决方案。 

作为国内最大民生缴费服务供应商和中国电信第一大通信费充值服务商，近年来，甜橙金融的业务已经覆盖全国近400个主要城市、300所校园，线下进驻门店超过110万家，线上合作电商约150家，坚持为3亿多用户提供优质服务，翼支付品牌与支付宝、微信支付成为中国前三大个人支付应用。 

上云的必要性分析

在甜橙金融业务发展初期，由于资源分配的原因，数据系统资源主要分布在华东和华南，且各个业务系统相对独立。由于缺乏标准化和规范化的设计，企业系统在业务快速发展过程中，面临着基础服务边界不清晰、数据库服务耦合度高、传统数据架构无法灵活扩展等各种问题，给运维工作带来了极大的困难和阻力。

IT系统的重要性

由于金融行业涉及大量的金钱往来，对于IT系统的安全性和性能要求一直比较高。而随着互联网场景的导入，一方面海量数据和高并发的业务场景对企业的整体运行服务能力和服务效率带来了新的挑战。另一方面，在移动互联、云技术、大数据等新技术的驱动下，金融创新层出不穷，客户服务需求日趋多样化、个性化，也要求IT系统能够灵活变更来适应业务需求。

因此企业对于服务运行的安全性、可靠性和实时性的诉求，转变为IT系统运维管理的必然要求。

首先，明确服务边界和要求，规划建设统一的运维管控平台；

其次，合理评估，针对不同业务需求做最佳技术选型，从而有效降低成本；合理去O，增强企业对IT系统的自主可控；

最后，通过有效的备份及高可用措施，保障系统及数据的安全，最终实现基于标准化和规范化的企业云化转型。

这不仅是企业面对互联网挑战的最佳解决方案，也是企业迈向云化智能化时代的必经之路。

因此，甜橙金融内部经过慎重考虑，决定建立基于云技术的数据服务管控平台，对当前IT系统进行标准化改造，改造的目标主要包括：

1. 明确基础服务，构建数据平台的资源层

2. 数据库层面解耦，对应用进行合理拆分

3. 非核心应用剥离主业务架构，减少对核心资源的争用

4. 对应用、中间件、系统、DB等进行全盘标准化改造，为上云后的DBaaS平台奠定基础。

因此根据当前业务分布情况与公司资源的划分，甜橙金融首先对系统架构进行统一建设规划。决定将核心系统迁移到华东核心机房，做统一的部署管控，由华东核心机房负责整个公司的核心业务需求。使用ADG方案实现数据的备份与容灾。一些非核心业务也会逐渐迁移到华东核心机房。同时将新的华南机房作为应用级容灾节点，负责非核心业务应用级容灾。

上云的挑战与应对方案

整体的方案可以分为三大部分：

• 华东核心机房的规划与建设

• 跨千公里的数据同步

• 非核心应用的技术选型

华东核心机房数据库网络布局

由于甜橙金融的业务增长较快，网络的设计上要能够满足ADG数据同步时的流量、安全、稳定的需求，同时还要保证在切换的过程中多数据中心的无间断通信。

最终，甜橙金融基础网络架构设计采用ACI技术，与虚拟化平台无缝协同集成，先进的技术手段助力新业务部署，在高度安全的多租户环境下，采用灵活的Endpoint Group做分布式转发。

跨千公里数据同步

华东核心机房的环境搭建好之后，接下来就需要将原华东、华南数据中心的数据库迁移到华东核心机房。根据公司内部的要求，为了减少对业务的影响，停机窗口在90分钟内完成，并且要有测试环境验证业务流程。 因此在其数据服务商云和恩墨工程师的协助下，甜橙金融制定了Oracle 4级ADG的级联方案，并对迁移数据库进行分层，将原华东、华南数据中心源端分为A层，华东核心机房则分成3层，分别是B、C、D层，其中B层是中间层，C、D层是最后的生产环境的主备。

中间层的作用说明：B层作为中间层，主要作用是当测试完成后，需要重新搭建这两层。这样做可以节省大量的搭建成本和时间。同时也可作为C层数据意外损坏时的修复源。 

迁移风险分析

由于站点之间距离远，数据量大，迁移过程面临以下风险：

1、带宽限制

通过统计，原华东、华南数据中心本次迁移的数据库每天产生近千G数据的归档。根据这个带宽换算均值刚好满足要求，但由于业务是呈波浪线的，在峰值时可能会存在比较大的延迟，影响Failover切换时间。 

2、数据量大，时间短

本次迁移涉及到A层的整个数据文件将近百T，从备份到应用日志，共有三层环境需要搭建，总共涉及数据约200T。

3、无法将现有的主备互切

为了风险可控，保证A层环境不被影响，选择了Failover切换方案，C层和A层无法进行主备切换。

为了减少迁移的风险，甜橙金融数据库团队与云和恩墨工程师在项目前期，进行了大量的测试和调研，包括对系统的业务周期，高峰时段压力，日常流量，备份速率等的确认与评估。并制定了完善的风险应对与回退方案。

在迁移时采用平台+脚本的方式，数据迁移的过程历时2小时，共迁移了94套库中的150T数据，并完成了1300项规范的自动校验，总共历时8小时。系统平滑切换，零数据丢失。（后续供迁移数据2P左右。）

非核心系统去O后的技术选型

为了合理控制企业IT成本，增强系统的灵活与自主可控，甜橙金融对于非核心业务系统也做了相应改造，合理去O，引入开源的解决方案。比如引入MongoDB用于处理业务数据展示，引入MyCAT、Sharding-JDBC进行分布式改造，基于Zabbix做二次开发，打造定制化监控平台等。

整个系统的迁移和重建于2016年年底完成，整个过程数据零丢失。并且在过去一年的时间里，系统一直保持高效稳定的运行状态，为前端的业务提供了强大的支撑，同时驱动着业务的不断变革与创新。

上云后的深度探索

底层系统资源的整合是企业云化的第一步。在甜橙金融完成统一的数据库自动化运维平台建设之后，仍然面临许多的挑战，云端运维距离标准化和规范化还有很远的距离。

为此甜橙金融开始对数据库自动化运维平台进一步扩展，旨在对不同的数据库产品资源进行虚拟化整合，基于云安全及运维体系规范，结合容器技术，最终实现DBaaS下的数据库服务高可用，高性能及多样化，以提供对前台业务的支撑，深化互联网金融的生态建设。

甜橙金融DBaaS体系架构规划如下：

在众多的挑战当中，云上的数据安全无疑是首先要解决的问题。 针对云上的数据安全管理，甜橙金融开始着手建设基于多租户的云安全管理平台，其基本架构如下：

主要从以下几个方面实现数据安全管控：

• 租户网络隔离：云的基本安全原则就是租户网络隔离，云数据库须满足不同的租户网络严格隔离的要求。

• 资源隔离：数据库实例对硬件资源的需求如CPU、内存资源可以得到隔离保护，IO资源最大使用量可以得到限制，避免租户数据库之间的资源争用和相互干扰，确保数据库服务SLA的达成。

• 数据库软件级隔离：不同租户的数据库实例使用不同的数据库软件代码，使得租户数据库升级或者打补丁不会对其他租户造成影响；而且可将数据库的最高管理权限交还给租户，保证仅云租户拥有其数据库的最高管理权限——此为公安部信息系统安全等级保护标准的要求。

• 数据库审计：在云环境下，数据库审计应采用基于流量旁路的审计方案且只有租户能看到属于他们数据库的审计信息。

• 自定义备份：支持租户按库灵活定义备份策略。如备份方式，全备份或者增量备份；备份周期是日备份、周备份还是月备份等。

• 访问安全：支持租户配置访问控制列表，基于IP白名单授权访问。

而对于采用开源方案的非核心系统，也进行了高可用的规划建设，开发了一系列工具及技术解决方案，提高系统的服务能力。

随着互联网的深度发展，以及云计算、大数据、人工智能等技术的不断进步， IT系统在企业的发展中扮演着越来越重要的角色。云化、智能化、自动化成为不可逆转的趋势。通过IT系统及架构的变革，不仅能更好地满足业务发展的需求，更能驱动业务的创新。

决胜云端，甜橙金融通过基于云技术的数据服务管控平台的建设，为未来的业务发展奠定了良好的基础。甜橙金融技术总监张小虎表示，除了技术的变革，甜橙金融还将进一步完善DBaaS系统的交付和管理流程，努力打造标准化、规范化的基于云技术的数据服务管控平台。

随着数据的价值日益凸显，IT系统在企业中的地位也越来越重要。云和恩墨以客户的数据资产为中心，围绕业务架构，数据架构，应用架构和IT基础架构提供高价值的解决方案、支撑软件和专业服务，帮助客户构建并支撑安全、连续、高效、经济的数据环境，洞察数据所蕴藏的巨大价值，从而助力客户再商业上的成功。

专业成就所托，云和恩墨，致力于做您最值得信赖的数据管家。