re:Invent 2023 | 一年内实现 0 到 25 PB 的突破

关键字: [Amazon Web Services re:Invent 2023, 亚马逊云科技, Data Migration To 亚马逊云科技, Genomic Data Analysis, Cancer Treatment Research, Amazon Web Services Data Storage Solutions, Amazon Web Services And Pharmaceutical Collaboration]

本文字数: 1500, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1294y1j7rA

导读

将磁带数据迁移到 Amazon S3 可能需要花费一些时间。如果您的工作单元包含多个文件，但这些文件分散在多个卷中，是否有办法优化还原这些文件？在本论坛中，您将了解使用 Amazon Neptune 跟踪文件/磁带关系可如何帮助您优化恢复计划。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

乔·豪利在re:Invent会议上发表了开场演讲，并对与会者表示感谢。他意识到还有其他许多会议同时进行，因此对人们抽出时间来了解Caris Life Sciences表示感激，该公司在短短不到一年内，从0亚马逊云科技使用量增长到存储25PB的数据。事实上，乔提到前一天与梅森·亨斯利共进早餐时，梅森登录到亚马逊云科技控制台，发现他们现在已经拥有29.4PB的数据在亚马逊云科技——这是他们持续指数增长的证明。

随后，乔介绍了演讲者。首先是Caris Life Sciences的首席技术官梅森·亨斯利。梅森在各种健康科技初创公司和上市公司工作过。他在范德比尔特大学获得了生物医学工程学位。乔称赞梅森是一个优秀的合作伙伴，推动了Caris的技术转型，并领导了他们首次主要的迁移到亚马逊云科技。

接下来是乔的合作伙伴大卫·卡西，他在亚马逊云科技担任资深解决方案架构师已有2年。大卫在媒体、交通、电子商务和其他行业拥有超过30年的技术经验。他的角色是为解决方案架构提供技术指导，特别是在亚马逊云科技存储技术方面具有专长，非常适合Caris的需求。

最后，乔介绍了自己。他是亚马逊云科技的企业销售主管，已经在公司工作了6年。乔专注于与像Caris这样的客户合作，采用帮助它们实现业务成果并为其客户提供服务的亚马逊云科技技术。

会议议程上，乔概述了会议的目标，简要介绍Caris，讨论亚马逊云科技-Caris合作关系，审查技术架构和行动计划，强调取得的成果，并为提问留出时间。

总体目标是向观众提供关于亚马逊云科技的重大云转换经验的见解，包括人员、流程和技术。乔特别兴奋能让梅森分享从领导这个项目的经验教训，因为这是他第一次大规模迁移到亚马逊云科技。这些见解将帮助其他人避免在迁移过程中可能遇到的潜在陷阱。最后，他们希望让人们了解与亚马逊云科技和更广泛的亚马逊合作的合作伙伴机会。

Mason Hensley随后详细介绍了Caris Life Sciences公司的基本情况。Caris公司主要从事全基因组测序分析癌症活检样本的工作，以提供有助于改善患者癌症治疗结果的信息。目前，该公司主要处理组织活检样本，但正逐渐向新兴的液体活检领域拓展。随着时间的推移，其数据科学家发现某些癌症突变患者的可用治疗方案中存在空白。这一发现促使公司进行技术改革，以提高分子数据的获取速度，从而加速研发进程。Mason指出，转向亚马逊云科技使他们能够解锁数据，使其更便于团队成员使用。

Joe接着谈论了亚马逊云科技如何与Caris展开合作，了解他们的关键目标并制定相应计划。Caris的核心使命是拯救生命和帮助人们。因此，亚马逊云科技的目的是通过优化Caris的业务来实现这一目标。从实际操作角度来看，Joe强调了在两家公司内部获得支持以实现共同目标的重要性。Caris从上至下的领导团队，包括创始人、总裁和首席运营官，都全身心地投入到这个云计算转型中。

战略上，亚马逊云科技看到了帮助Caris在内部和外部共享数据的机会。内部共享数据将使整个公司的数据访问民主化，从而推动研发。在外部方面，亚马逊云科技可以帮助Caris通过与制药和学术界的Precision Oncology Alliance合作伙伴通过Amazon Data Exchange安全地共享数据。商业方面，亚马逊云科技努力提供一个具有适当投资回报率的一揽子方案。在迁移过程中，亚马逊云科技提供了专业服务以加速Caris向云的迁移。

Joe随后提到了一些已经取得的关键成果，但他强调这仅仅是一个开始，他们还有很多可以一起实现的成就。Caris已经提高了创新能力，将迅速增长的血液管道测试移至亚马逊云科技，实现了无限的可扩展性，并降低了成本——改善了他们的业绩。

David Casey讨论了推动Caris转型的技术行动计划和架构。由于Caris的基因组序列器的指数级数据增长，而他们的自有存储容量有限，数据科学家不得不不断在磁带和在线存储之间来回移动数据。他们的磁带库已经达到了最大容量，而从磁带上检索数据可能需要几周的时间，当数据科学家需要访问分散在不同磁带上的数据时。进一步扩展数据中心已不可行。

Amazon S3与Glacier即时检索用于低成本高性能存储；亚马逊云科技的DataSync用于管理数据传输及健壮的追踪和验证；亚马逊云科技专业服务负责建立合适的着陆区并协助优化工作流程；而Caris的DevOps团队则使用Terraform来配置亚马逊云科技资源和环境。然而，截至2021年12月，Caris在亚马逊云科技中的数据仍然极少。到了2022年10月，他们已经将29.4PB的数据迁移到亚马逊云科技的S3中，约有10亿个对象。如今，他们每周平均转移约1.5PB数据。为实现这一目标，Caris还升级了内部网络、防火墙和互联网带宽。亚马逊云科技与Caris仍将继续合作，以发现和解决可能出现的任何瓶颈。Mason Hensley分享了整个迁移过程中的业务成果和经验教训。在亚马逊云科技中访问分子数据使得Caris的数据科学家能够发现特定癌症突变患者的治疗空白。这使得Caris现在可以与制药公司合作开发针对这些患者群体的靶向疗法。例如，他们最近宣布了一项与现代疫苗公司Moderna为期5年的合作伙伴关系。从成本角度考虑，迁移至亚马逊云科技大幅降低了他们的基础设施资本支出。这使得他们可以精确计算每个处理过的样本的成本，从而有助于将这些成本分配给各个部门和项目。关于经验教训，Mason强调了建立执行仪表盘以跟踪和传达进展的重要性。这有助于推动跨团队的参与并提供透明度。他建议在从CAPEx转向OPEx模型时尽早让财务团队参与其中。最后，利用亚马逊云科技的专业服务在加速其云采用方面发挥了关键作用，并为组织建立了信任。

在过去的这一年里，Caris Life Sciences从基本的亚马逊云科技服务开始，逐渐发展到了在云端存储超过29PB的基因组数据。这一发展提高了其创新能力，推动了新的研发合作，降低了成本，并为公司带来了无限的扩展空间。这可以被视为一个成功大规模迁移至亚马逊云科技的经典案例。

下面是一些演讲现场的精彩瞬间：

客户拥有高达25PB的数据，他们需要以循环方式管理320个Snow设备。

然而，这种管理方式使得Snow家族不再是一个可行的解决方案。

为了解决这个问题，客户选择了使用具有Glacier即时检索功能的Amazon S3。

这一功能为大容量数据的快速、即时代理提供了高效且经济的解决方案。

总结

本次演讲来自于亚马逊云科技re:Invent的一场活动，主要讲述了Kis Life Sciences公司在一年内从零起步，使用亚马逊云科技存储超过25亿GB数据的故事。

Kis Life Sciences是一家专注于分析癌症活检数据的公司，旨在为肿瘤学家提供反馈，以提高患者的治疗效果。最近，该公司还开始涉足液体活检领域。通过对基于突变的癌症治疗方法的研究，该公司发现了治疗差距，从而推动了改进研究数据访问技术的需求。

首先，演讲强调了Kis在公司内部面临的数据挑战。他们的基因组数据增长迅速，超出了他们有限的内部存储容量。大部分数据都存储在磁带上，这使得数据科学家在收集队列数据时可能会因为跨越磁带而延误数周。此外，他们的数据中心扩张空间有限，而磁带库也已经达到了容量限制。这种访问基因组数据的延迟阻碍了他们快速利用数据来拯救生命的潜力。

其次，演讲解释了如何通过使用亚马逊云科技的服务将数据迁移到云端来解决这些问题。Amazon S3与Glacier Instant Retrieval提供了大规模的高效、低成本存储方案。亚马逊云科技DataSync负责管理具有追踪和验证功能的数据传输。在亚马逊云科技专业服务的协助下完成环境设置后，一年内成功迁移了超过25亿GB的基因组数据。

最后，演讲总结了近年来Kis自迁移到云端以来的收获。数据现在更加易于研究和协作，有助于新药物的研发。基础设施瓶颈问题得到了解决，降低了资本支出。行政人员可以通过仪表盘跟踪迁移进度，提高了对云的接受度。财务团队喜欢每样本成本的透明度。

总的来说，通过利用亚马逊云科技的几乎无限存储和服务，Kis Life Sciences迅速提升了其数据处理能力，从而加速了可以改善癌症患者治疗和结果的发现过程。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134836524

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。