在去O的道路上,AWS表示:经验可复制,惊喜并非只属于我们!

版权声明: https://blog.csdn.net/sch881226/article/details/88558995

一直以来,在云计算领域,AWS虽然遥遥领先,但是后有追兵无数,前方却从未有人带带路,想要“偷懒”借鉴学习一下,绝对不能够。

一直以来,挑战数据库霸主Oracle,对很多人来说意味着一项不可能完成的任务,所以当AWS发话想要帮助亚马逊电商完全去O,此言一出瞬间引起业界小伙伴们的关注。

去O可复制,惊喜并非只属于AWS

外界,激烈探讨着Oracle数据库的“王冠”何时脱落;内部,AWS紧锣密鼓地践行2020年之前全面摆脱Oracle数据库所许下的承诺,当然在这个过程中,风波并不少,其中当属被报道出“亚马逊迁离Oracle数据库是Prime Day促销日陷入瘫痪的主要原因。” (在亚马逊自己的调查报告中称这次故障只是导致了15000件包裹延迟发货,并浪费了90000美元劳动力成本)

针对这则“旧闻总新说”,日前阿晶现场求证了AWS数据库服务总经理、IEEE会士Debanjan Saha和AWS Amazon Redshift总经理Vidhya Srinivasan两位技术高管,得知:尽管之前亚马逊电商确实有非常大的体量在使用甲骨文数据库,但目前确已将所有的数据库迁移到Amazon Aurora、Amazon Redshift和Amazon DynamoDB这三种类型的自研数据库上。

图片来源网络

具体来说,以OLTP为例,交易型数据库基本迁移到Aurora;数据仓库型则迁移到Redshift,就在去年火热的圣诞季,所有亚马逊电商的仓储调度、运营中心等都是基于这三种自研数据库来工作,有条不紊。

迁移过程并非易事。AWS的数据库技术高管 Srinivasan坦言,从数据分析的角度来看,迁移项目的巨大困难主要在于,亚马逊超级电商的要求并不是简单将原来在甲骨文数据库上进行的数据分析功能转移搬运到云上就ok,而是需要分析能力的升级,这种升级宏观来说,是为了应对未来十年该项技术方面的变化以及本身的业务迭代,难度系数可想而知。

此外,这种迁移工作需要完成的不仅仅是数据搬运,更关键的还是应用迁移。这些使用频率很高的应用,一部分由企业内部开发,另一部分则是由ISV提供,甚至还有一些应用年代比较久远,要是做到“统统支持”,这也是非常困难的一环。

但颇为惊喜的一点,尽管困难重重,但AWS推进的这条去o之路显然是可以复制的,其中无关企业体量以及业务层面的差异性。基于亚马逊电商庞大数据库服务成功迁移的实践,从中获益的不仅仅是AWS本身,还有那些迫切想要脱离Oracle数据库一家独大局面的企业,这一点毋庸置疑。

去O有信心,对于数据服务,AWS心里有数!

阿晶觉得,义无反顾推进去o,除了对自家产品充满信心之外,更重要的是在如今炙手可热的数据服务领域,AWS可以称得上是十分在行。

以数据分析为例,过去用户想要进行数据分析,常规的做法是通过大型的数据仓库厂商购买,然后将庞大的数据量搬运到数据仓库中运行。方法可行,但成本昂贵,支持的数据量级也并不能完全满足企业的复杂需求。

更棘手的一点,如此操作之后也并不能完全保证支持企业级所有的数据分析工作,可能搬运进去的数据只有百分之十左右得到了应有的分析,所以选用AWS的数据服务,很多用户比较期待的是获得来自百分百数据的洞见,最起码是高比重的,以此指导并简化业务流程。

如果探究从10到100所获得的洞见区别,Srinivasan分析道,其实针对传统企业的IT架构,如何计算高效快捷的数据处理所需要的成本,一直处于难以言明的状态。管理层无法有效评估采用如此数据处理方式,预期的投资回报如何。如果不能提供有力证明,管理层在经费上很难提供支持。

再者,恐怕就连企业内部的专业技术人员也很难准确把握有用数据的百分比,这是传统企业IT架构的弊端之一,无可避免;但如果上升到云端,之前的问题也就迎刃而解了,而且也可以让那些非专业的人员搞定数据处理。

如果简要描述这个智能的数据服务流程,我们可以如此总结,在AWS的世界中,用户首先会将所有待分析的数据统统放入数据湖中,然后用Amazon S3或者其他专门用途的工具,构建在数据湖之上进行分析工作的机制。

当然,在形成这样一个有秩序且稳定的世界之前,在进行有针对性的数据分析之前,还需要根据用户的不同使用场景,设计定制化服务或者解决方案。此外,Debanjan Saha还特别补充道,在用户看重成本的情况下,帮助用户进行服务成本的经济性分析也是必不可少的;更重要的是,所有的数据服务都必须具有强大的伸缩性。

举个例子来说,以“吃鸡游戏”(也被称为“堡垒之夜”)而闻名于世的游戏公司Epic Games,作为AWS的数据库服务用户之一,选择将所有游戏用户在玩游戏期间所产生的数据全部导入Amazon S3中,然后利用定制化工具完成用户的游戏行为分析,着实便捷快速。

智能流程如此、产品亦如此:Redshift 不断精益求精

早在2012年,AWS就率先推出了当时被称之为首款云端数据仓库的云服务,也就是如今耳熟能详且采纳率非常之高的Amazon Redshift。这些年来,AWS不断对Redshift进行创新迭代,数据显示,仅仅去年一年围绕Redshift就发布了220个新功能,其中有九成以上是基于用户需求而来。

谈到Redshift的不断精益求精,Vidhya Srinivasan表示,降低分析成本、增强与数据湖的集成一直是Redshift创新升级的两大重要方向,降低分析成本的动力显然易见,另一个动力的根源是,越来越多用户要求将数据仓库与数据湖加以集成。

在过去的12-14个月中,Redshift的性能早已实现了5倍的提升。AWS始终相信一点,对于Redshift用户来说,不仅仅是使用Redshift,更重要的是经历整个数据的历程,比方说将数据导入数据仓库,使用到Spark,甚至还要运行很多机器学习模型等,这就意味着需要不断将更优秀的Redshift与其他AWS服务进行集成,比如AWS Glue、AWS Lake Formation、Amazon SageMaker等。

Vidhya Srinivasan介绍说,Redshift用户基本聚焦在两个场景:一种是企业级客户,迫切想从传统的驻地(on-premise) 数据仓库迁移到基于云端的Redshift数据库上;另一个使用场景主要涉及大型企业存在大量且还未分析过的数据,例如客户点击型的数据以及物联网设备产生的数据等。

“值得一提的是,我们在为用户提供多种数据库服务时,过程中也学到了很多宝贵经验。后续我们选择将这些经验打包,汇集成帮助数据库自动调优、自我运维管理的能力秘籍”,Vidhya Srinivasan认为正是由于这些丰富的经验才让用户对Redshift青睐有加。

打造现代应用and数据应用上云?AWS表示木问题

除了获得数据方面的洞见,很重要的一点,厂商们希望通过使用AWS的数据服务快速打造云端的全新应用。

畅谈此话题之前还需要明确一点,何为现代化应用?阿晶斗胆总结下,用户基础庞大,涉及百万级;数据足够海量以及使用范围的广泛性等都是其具备的特点;此外在服务响应速度以及是否能够支撑多样终端,例如移动设备、物联网设备接入等也是要紧;所谓“现代化”,以自动伸缩为代表的功能也要一一具备。

一直以来,AWS可以提供各种各样的数据库服务类型,帮助客户用这些工具开发他们的现代化应用,但最受青睐的莫过于一款数据库服务,名叫Amazon Aurora,这是一种与MySQL和PostgrepSQL兼容的关系型数据库。

据了解,Aurora的速度和可用性并不输于高端的商用数据库,但在成本以及易用性方面都被认为是开源型数据库的经典,所以被高度评价为“成本一成、绝对现代化、还高效助力现代化开发”。这方面,Verizon作为AWS的大客户之一,现在也把他们原来的商业型数据库进行了迁移,成功迁移到了Aurora上。

众所周知,Aurora可以被认为是AWS历史上增长速度最快的一款服务,排名前一百的用户中3/4都用了AWS的Amazon Aurora,越来越多数据库用户迁移到Aurora上。

针对“数据应用上云”的诉求,AWS提供了一种叫作数据迁移的服务。通过该服务,可以帮助用户从驻地(on-premise)向AWS云进行迁移,还可以帮助实现从一种类型的数据库向另外一种类型的数据库迁移,重要的是迁移过程零宕机。

短短的几年时间,AWS就已经成功帮助数以十万计的用户选择使用自研的数据库服务,而数据库迁移服务也总体帮助将超过十万的数据库进行了迁移。

阿晶感觉,AWS在数据服务中总结出的道理就像“不同的车应该有不同的路”一样简单。在广泛汲取用户反馈的基础上,AWS成功实现了从2015年仅仅只有100个数据服务创新功能,迅速攀升到2018年325个,甚至在2018年短短一年时间就成功发布了六个全新的数据库以及分析服务,如今这个总数已经达到了785个,实在可喜可贺。

没有更多推荐了,返回首页