颠覆你的想象 | 复制10个14TB数据库只花20多分钟？！

【编者Peter Ye 按】

昨天，微信公众号“乐生活与爱IT”发表了《VMware vSAN如何逐渐进入到用户的关键业务应用？》，指出了一种对关键业务应用影响极小，但又能符合业务创新的需求，并同时观察vSAN这一代表未来存储趋势的HCI的方案。这就是借助数据库级别的复制，例如大家熟知的Oracle Data Guard、Golden Gate；新兴的D-Uni、Delphix；以及国内老牌的迪思杰（简称DSG）等数据库复制方案。

其实还有Quest SharePlex（Quest曾被DELL收购，后来因为DELL收购EMC，EMC有不少产品线与Quest旗下软件重合，Quest又被DELL售出）。另外有朋友补充，还有Actifio, IBM CDC, Informatica, 深圳沃信(据说在国内有一些金融用户)等，感谢这几位朋友。也欢迎懂行数据库复制的更多朋友，在文章后面留言，列出市场上其他数据库复制软件。

---正文开始---

先说结论。

14TB的原始数据库, 通过它的镜像,产生虚拟库, 创建时间为2017-11-20 13:51:53, 结束时间为 2017-11-20 13:53:57，用时仅2分零4秒。

而在当天的测试中，通过镜像库能够创建出多达10个虚拟库，总共用时才20多分钟。

测试的环境和配置如下：

vSAN集群共用了如上4台Server，每个Server仅有1个磁盘组，每个磁盘组由1块Optane SSD P4800X做为缓存层，7块SATA SSD做为持久化层。

再转入正文。

随着云计算、大数据、移动社交等第三平台的飞速发展，大数据时代的数据已成为一种新型“石油”能源，逐渐成为驱动企业级创新，提升企业差异化竞争力，实现企业引领其所在行业发展的根本动能。那么如何灵活有效地获取、装载、处理飞速增长的海量数据，正在成为越来越多的企业IT部门需要正视的高难挑战。

 

近日，经Intel、VMware、D-Uni颉一软件三方架构师和数据科学家联合测试并取得阶段性成果的数据库虚拟化之超融合方案彻底挖掘出基础层数据能源的井喷价值，以全球最先进的数据库虚拟化技术为核心，为用户提供集约化、敏捷化的数据服务，帮助用户实现对数据的统一管控以及对数据的敏捷化、运营化管理。

 

相比Intel、VMware这两家如雷贯耳的巨头，D-Uni颉一软件似乎名不见经传，但它的核心团队却颇有来头。创始人查理在核心数据库和IT 流程自动化领域已拥有三项美国专利，早在2001 年查理就已开始研发复制数据复用技术，2008 年在硅谷首创云计算行业全新产品品类“数据库虚拟化”，查理还参与了美国VMware公司的大数据产品战略，其成果Serengeti 获得业界大奖，曾被评为年度“最佳开源大数据工具”。

 

颉一软件是查理第三次创立、定义、引领数据管理行业，以中国作为创新基地，辐射全球的基础科技提供商，他前一次创业的Delphix公司在2015年已经成为估值近10亿的美国独角兽，而由他首创的数据库块级增量备份曾经领先美国顶尖数据库巨头近五年时间。近30年的IT行业经验，专注企业核心数据管理领域20年的技术沉淀，以及由其首创的数据库虚拟化技术，在中国IT行业数据爆发式增长且潜力巨大的需求市场背景下，促使查理带领硅谷技术团队回国创立D-Uni颉一软件，此次与Intel和VMware联手打造的数据库虚拟化之超融合方案，一经测试便取得惊人成果，14TB数据库不到3分钟即完成拷贝，基于该平台的并行操作，这意味着只要目标端的硬件配置条件达标，10个14TB数据库可在20多分钟左右完成拷贝！ 那么其颠覆传统的数据管理模式，究竟是如何实现这一突破性创新，并有效帮助用户提升自身的差异化竞争力和持续不断的创新能力？

 

首先，我们需要由方案的根本即困扰用户的难题出发，分析行业现状与用户需求，由此确定方案的价值方向。

 

一、困扰用户的难题

（一）企业海量数据的部分现状与面临的问题：

1. 应用数据鸿沟严重阻碍业务发展

2. 问题：

·        迅猛增长的数据量和数据速率已超过现有基础架构的支撑能力；

·        数据竖井限制了企业对数据的共享和灵活使用；

·        现行数据管道并不能有效支撑企业进行数据运营。

不仅如此，随着全新数据服务时代的到来，用户又不断涌现出新的需求有待被满足、被解决，例如：

·        移动计算要求数据具备即时性

·        大数据要求数据具备完整性和一致性

·        互联网+企业要求具备DevOps

·        企业的业务敏捷化和成本控制催生对混合云的需求

·        最后，数据安全是每个人都关心的问题！

 

二、解决方案概述

数据库虚拟化之超融合方案，由Intel提供硬件平台支持，结合VMware 的分布式存储vSAN，基于 Intel 最新处理器和超高性能的3D XPoint OptaneSSD提供按需分配的能力，D-Uni颉一软件在Intel + VMware vSAN 环境中以全球最先进的数据库虚拟化技术为核心，为用户提供集约化、敏捷化的数据服务，帮助用户实现对数据的统一管控以及对数据的敏捷化、运营化管理。

 

三、解决方案测试

在测试过程中，三方对该平台可提供的敏捷数据服务能力进行了测试与评估，包括对应生产支撑能力的弹性可扩展水平，实时数据分享至后生产端的能力，高可信精确数据保护能力等，并根据TotalTPM vs # of VDB (虚拟数据库, Virtual DataBase，单位W)数据显示，随着VDB数量的增加，总的TPM值呈递增趋势。

对比HDD物理源库，8个虚拟机同时运行，其峰值性能约为HDD源库的18.67倍（峰值性能比约为168万：9万）

下图：数据库压缩比：7.2T数据库，压缩后1.6T，压缩比约为4.5:1，节省大量空间

前面提到的14TB的数据库，通过压缩后，大约是3TB多一些。而这压缩后的数据库便是前面提到的镜像库。所有的虚拟数据库都是基于镜像库做出来。因此对于关键业务应用的源生产库，影响极小。而且这些虚拟库能够挂起来，可读可写，用于决策分析、历史报表查询，或业务创新。

成本分析，传统的HDD组网方式，54个CPU，128G内存源库，TPM值为90308；

SSD+vSAN+D-UNI组网方式，8台虚拟机，每台2核CPU，TPM可达到160万，性能提升约18倍，CPU成本降低一半，节省Oracle License一半以上，节能50%以上。

 

四、解决方案价值

通过本次测试，最终得出超融合数据平台具备如下优势：

·        硬件成本不高于物理环境

·        整体性能不低于物理环境

·        平台性能具备云计算的可弹性扩展能力

·        丰富的系列化数据服务，如实时数据共享，高可信精确数据保护等

 

其中，vSAN是内嵌于vSphere ESXi这一成熟稳定的Hypervisor内的分布式共享存储，支持vMotion、HA、FT和DRS等高级功能；如下某基金公司Oracle RAC on vSAN的截图：

相比外置磁盘阵列：

·        分布式存储分散了风险，提供更高的可靠性；

·        vSAN具有无以伦比的高可扩展性，可在线的进行纵向和横向扩展，集群最高可扩展至64个节点，8.8PB容量；

·        能够采用标准的商用硬件（如x86服务器）及其内置的SSD和HDD，极大地节省了成本；

得益于数据靠近计算，SSD更能淋漓尽致地发挥出其高性能低延迟的优势；一般而言，同样的SSD，在vSAN架构里能发挥出在外置阵列的3~6倍的性能；如图可看到vSAN 4节点的集群，在7读3写，4KB小IO的情况下，高达17万IOPS的性能，甚至可以媲美全闪存外置磁盘阵列。

 

·        无缝地与软件定义存储的控制平面层（SPBM，基于存储策略的管理）对接，这一存储自动化的高级功能使得vSAN能够快速响应数据库对存储按照一定SLA标准分配资源；

·        计算资源池和存储资源池在一个图形界面里进行运维和监控，方便了管理；

 

更重要的是，D-Uni选择VMware vSAN做为数据库虚拟化的目标平台，是业界最稳定可靠，而且市场份额最大，SDS领域技术最先进的超融合架构。vSAN的领袖地位可参见下图：

五、解决方案用例

1.  基于云的容灾

·        即使是在灾难发生时，也可保证性能不下降，且具备弹性与可扩展性

·        可高频率、低成本、制度化经常化演练

2.  混合云溢出（Overflow）系统

·        当用户私有云容量不够时，可溢出到该系统完成相关业务，如银行用户进行晚间跑批业务

·        弹性可扩展性能有助于确保系统承受峰值以上的业务分配

3.  云迁移

·        一键式实现云迁移

·        弹性可扩展

·        数据保护

·        在线数据监控和警报

·        内置实时数据发布，分享到下游系统及边缘计算

 

六、总结

数据库虚拟化之超融合方案 是一个颠覆传统数据管理的综合软件平台，旨在为企业提供新一代敏捷数据服务。

该平台在差异且多样化的 IT 环境中使用简化的配置和管理，提供整套融合数据服务，对于企业的开发/测试人员、运维人员、安全人员、审计人员、业务人员、管理人员在备份容灾、环境准备、数据资源管控、数据版本追溯、数据全生命周期管控、数据库调优/清理/逻辑归集、数据迁移、数据集约化管理、DevOps加速、业务数据保护、操作分析预判、审计模式优化、快速按需实时数据提供等众多应用场景中均能发挥关键作用。

事实上，D-Uni 颉一软件通过在国内外金融、电信等行业的不断应用实践，有关超融合数据平台的部分颠覆式性能、价值与优势已在某些国有大型商业银行以及某些大型电信运营商系统上线试运行并不停迭代更新，为用户提供更为完备优质的融合数据服务，其应用优势主要体现在：

1.    在处理数据量和速度方面均表现可观：

·        5分钟提供30TB数据库环境 （在某大用户处实测数据）

·        3 分钟传输两千万数据库操作

2.    超融合数据平台可适应新需求

·        可保证数据的完整性和一致性

·        业务级高可信的数据保护

·        在线数据监控和告警

3.    深度集成、开放接口

·        与 iPaaS（Infrastructureplatform as a service）共同扩展

·        无缝融入 DevOps 程序

 

最后，基于此次三方的深入交流合作并成功测试运行数据库虚拟化之超融合方案以及所取得的成果，Intel/VMware/D-Uni颉一软件将在未来进行更加深入全面的联合合作，为拥有巨大数据体量以及数据速率需求的企业客户提供基于核心解决方案、产品研发、交付、售后支持等一整套闭环融合数据服务，提高企业感知能力，缩短企业决策周期，为客户提供服务今天，适应未来的数据架构，赋能企业先人一步迈入融合数据新时代。

---正文结束---

微信公众号平台"乐生活与爱IT"在目前阶段，主要是分享软件定义存储(SDS)，及VMware vSAN相关的文章，偶尔也会分享虚拟化、云计算、大数据、IoT、区块链、人工智能等，甚至生活类的好文章。欢迎投稿，特别是原创文章。如果原创文章首次是在"乐生活与爱IT"发表，视质量和阅读量能获得20~500元的稿费。我的QQ号：9269216。另外，如果还有赞赏收入，作者可获得60%。

欢迎对SDS感兴趣的朋友，加入软件定义存储讨论 QQ群:122295009，可下载原创的一些文章，及其他有参考价值的文档。可直接搜索群号，或者扫描如下二维码：

同时，欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群，并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号，建议添加管理员时，告知你的公司名和姓名，方便备注保存。

sdg8848

libo9538

yangzhuan

dts0103

欢迎您通过扫描关注微信公众号：“乐生活与爱IT”。

关注后，可以通过点击左下角的“文章目录”，通过输入三位数（记住！是三位数，目前第一位是0或者1）详细了解如何查看历史文章。

点击左下角“阅读原文”，可以看到昨天发表的《VMware vSAN如何逐渐进入到用户的关键业务应用？》