把100PB数据迁移到阿里云,需要几步?

版权声明:本文为CSDN原创文章,未经博主允许不得转载。 https://blog.csdn.net/sunhf_csdn/article/details/80665726

把大象关进冰箱,需要几步?三步。

第一步,打开冰箱门

第二步,把大象放进冰箱

第三步,关上冰箱门

把100PB 115科技的数据迁移到阿里云,需要几步?同样是三步。

第一步,把数据拷入闪电立方

第二步,把闪电立方运送到阿里数据中心

第三步,把数据从闪电立方拷出来,齐活!

说起来很轻松

可是,您知道100PB的数据到底有多大吗?

看看下面这张图,您就明白了。



迁移100PB数据!这场互联网史上最大规模的公共云迁移,仅仅用45天就圆满完成,不得不说几乎是一个奇迹。

但看似简单的背后,往往蕴含着极度的复杂。

这次115科技的数据迁移同样如此。

 100PB海量数据迁移,整体服务不停机,客户无感知。

稍微想想,你就会明白要同时满足这三个条件到底有多难。

为了保障这次115科技业务的平滑迁移,阿里云将分布在不同地区的数千台物理机内的数据与云上的位置进行了一一对应的规划,保证每一比特都有迹可循。同时,阿里云采用了专线互连的传输方式,建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC,采用400Gb/s的分布式在线数据传输服务OSSImport,将115的数据加密迁移到对象存储OSS中,并对每个文件做端到端的SHA-1校验,避免出现数据不可用或者不一致的情况。

为了提升传输效率,阿里云存储研发团队在10天内设计了11个功能,包括SHA-1校验边算边传、WORM(一写多读禁止覆盖))、HEIF与矢量图片转换支持等特性,用于承载115科技的非结构化数据如文档、图片、视频的业务。

但最大的挑战,实际上来自于海量数据迁移。将100PB数据迁移从115科技数据中心传送至阿里云数据中心,如果用普通办公网络上传,要2700多年才能传完。即使采用较快的百兆网络传输,也至少需要300多年。所以,必须采用其他的方法,才能完成这看似无法完成的任务。

阿里云想到了一个绝妙的点子,他们发明了一种全新的离线数据迁移方案——闪电立方。闪电立方像极了一台电脑主机(居然还有音频接口),可防尘防水,抗震抗压。每套闪电立方可存储480TB数据,这样只要合理安排好数据转移和搬运的周期,再加上部分网络状况好的数据中心可以实行在线迁移,就可以在较短的时间里完成迁移100PB数据的壮举。

从实际的时间成本来看,这种离线的物理迁移看似原始其实却非常高效,115科技的上云时间从预计的4个月大幅缩短到了45天。

不过,大家都知道,仅仅迁移数据,并不是完整的云迁移,只有把业务系统同时进行迁移,才能称得上是云迁移,同时,我们也知道,数据分为冷数据和热数据,对于冷数据来说,使用闪电立方离线搬运,并不存在任何问题,不过对于业务系统以及与业务相关联的热数据,如何利用闪电立方来迁移这些业务系统和数据,又同时保证服务服务不停机、客户无感知、数据一致的问题呢?阿里云存储资深技术总监陈弘介绍说,这就需要先在阿里云搭建一套同样的业务系统,然后对业务相关联的热数据进行类似于双活热备的数据迁移,最后再把变化的增量与通过闪电立方运送到阿里云数据中心的数据进行同步,才能最终完成整个迁移过程。

而在整个迁移的过程中,需要前期做到详细咨询、精心规划,中期做到按部就班、大胆心细,后期做到认真交接、严格验收。当然,也需要闪电立方中强大的软件工具的支持和协助以及合作伙伴的大力支持。

眼见为实,在上海云栖大会上,阿里云现场演示了闪电立方迁移115数据的过程:2TB数据的安全传输过程仅仅耗费了2分03秒,全场黑衣服墨镜装扮的保镖,则象征着阿里云闪电立方在安全性方面的保障:每块硬盘专项分离保护,专人专车的运输。清楚的让用户感受到阿里云离线传输的专业、高效、安全。

为了使得更多类型的用户可以分享阿里云闪电立方的技术红利,阿里云还推出了闪电立方mini版,可提供单台40TB的数据迁移能力,更值得称道是闪电立方内置软件的图形化界面,引导式服务体验,可以令没有存储专业知识的普通用户也可以轻松上手,轻易完成以前复杂的数据迁移工作。而在这背后,是阿里云研发人员付出的辛苦劳动,阿里云存储资深产品总监承宗坦言,将互联网产品思维带到企业级产品上,这本身就是对阿里云研发人员的很大的挑战,而真正让互联网产品的体验体现在企业级产品上,就是更大的挑战了,感谢阿里云研发人员的艰苦努力,最终为用户提供了这样一个简单易用的数据迁移解决方案。

在数据安全方面,闪电立方mini版同样提供端到端的数据加密服务和数据一致性校验。不同的是,闪电立方mini版可以自行部署,再由专业的物流运输至阿里云的数据中心,实现离线数据的快速上云。

更好的消息是,阿里云闪电立方采用的是租用模式,不需要花费大价钱去购买硬件,计费完全由使用闪电立方的时间而确定,这对资金并不宽裕的中小企业来说,真的是一个福音。

其实,阿里云在企业级存储市场布局已久,凭借多层次防护、跨Region容灾等能力已经连续2年入选Gartner全球云存储魔力象限,处于全球前四的领导者地位。

此前,阿里云还曾帮助中石化、中国邮政、中国南方电网、飞利浦等多家企业实施上云迁移,并提供云化战略咨询、云上应用架构优化等服务,115科技上云也让阿里云成为国内唯一拥有百PB级别迁移经验的云服务厂商。

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页