关键字: [Amazon Web Services re:Invent 2023, Ebs Snapshots, Data Protection, Application Consistent Snapshots, Security Features, Data Lifecycle Manager]
本文字数: 3500, 阅读完需: 18 分钟
视频
如视频不能正常播放,请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV13H4y1y71C
导读
Amazon Elastic Block Store (Amazon EBS) 快照提供了一种安全、简单的机制,备份和恢复块数据、引导卷和本地数据。在本论坛中,探索 EBS 快照如何提供和自动化数据保护。了解如何增强 EBS 快照的安全状况。使用 Amazon Data Lifecycle Manager,自动化定制工作负载的快照生命周期。加入本论坛,了解最新的 Amazon EBS 数据保护功能,以确保云端的业务连续性。
演讲精华
以下是小编为您整理的本次演讲的精华,共3200字,阅读时间大约是16分钟。如果您想进一步了解演讲内容或者观看演讲全文,请观看演讲完整视频或者下面的演讲原文。
在一场内容丰富、引人入胜的讲座开始时,两位演讲者向观众们介绍了自己,并简要概述了他们将要讨论的主题。这场讲座将重点探讨亚马逊弹性块存储(EBS)的快照功能。他们以一种轻松的语气询问大约100名与会者中,有多少人已经在一定程度上积极使用EBS快照。房间里的大多数人纷纷举手,这表明观众对EBS快照有着广泛的了解和使用经验。然而,演讲者希望能够提供更深入的细节,以便让EBS快照变得更加实用且具有更高的价值,并能轻松适用于各种客户用例的关键数据保护。
演讲者们随即进入了主题的核心部分,明确地解释了EBS快照的定义:这是一种完整的时间点备份,当用户启动时,它可以捕获EBS卷在特定时刻的状态。当从一个现有的快照启动一个全新的EBS卷时,这个新的卷将作为创建快照时的原始卷的精确副本开始其生命周期,并且会包含快照时原始卷上所有已有的数据。
演讲者们还强调了快照的增量特性,这是其关键属性之一。每个后续的快照仅存储自上次快照以来发生变化的块,从而最大限度地减少总体存储成本,并缩短完成快照操作所需的时间。举个例子来说,如果一个新的1TB卷已经被分配了100GB的存储空间,但迄今为止只写了3个包含数据的块,那么这个卷的第一个快照只需要存储这些相同的3个数据块。如果这个卷在未来某个时刻又写了另外3个独特的块,创建第二个快照将只需要存储这些额外的新块,同时只需引用已经存储在第一个快照中的那3个原始块。这样防止了随着时间的推移在不同快照之间重复大量未更改的数据,从而大大减少了存储资源的需求。
EBS快照的关键特性之一是其自动实现崩溃一致性。许多客户运营着大型数据库或跨越数十个连接到单个EC2实例的分布式文件系统。通过一次API调用,EBS能够在所有连接的卷上获取崩溃一致的快照,而无需手动停止实例或协调每个卷的顺序。在发起整体快照请求的确切时刻,结果将是不一致崩溃快照,包含已成功保存到整个集群磁盘的所有已完成写入操作。
转向常见的客户用例,灾难恢复和备份是最突出的例子。客户通常利用EBS快照作为基于成本效益、弹性和跨区域、跨帐户灾难恢复策略的基础数据集。简单的共享模型以及只需点击几次即可在不同地区和帐户之间轻松复制快照的功能,使得实施灾难恢复工作流程非常简单。例如,客户可能在包含生产应用程序的主要地区每小时拍摄快照,然后将这些快照复制到应用程序空闲的灾难恢复地区。在灾难情况下,DR站点可以使用从主要区域同步的最新快照数据快速启动应用程序。
数据刷新和扩大现有应用程序强调了另一个非常受欢迎的用例。许多大型企业维护一个集中式IT共享服务账户,专门用于烘焙和分发预加载最新安全补丁、合规软件、日志代理、Docker容器等标准配置的最新的Amazon机器映像(AMI)。其他部门和应用程序团队可以迅速消费这些由中央IT团队分布的最新映像,并使用最新的硬化映像快速启动新的EC2实例。这确保了环境的一致性、安全性合规性和控制。同样,包含最新映像数据的EBS快照的共享使中央IT团队能够分布在可能数百个帐户和数千个EC2实例上的最新补丁、配置和新更新。
将遗留的内部数据存储和应用迁移到亚马逊云科技的云端将会推动大量的EBS快照的使用。客户发现,从内部数据中心向EBS快照备份关键企业数据既简单方便,然后可以轻松地将数据恢复到一个在亚马逊云科技上运行的光鲜亮丽的新EBS卷。这有助于简化云计算采用过程。例如,一家公司可能会将其企业数据中心的大型Oracle数据库的快照复制到亚马逊云科技,然后在云中快速恢复快照到EBS卷并启动新的RDS数据库。
最后,快照可以与许多第三方自动化解决方案、协调平台和安全扫描工具无缝集成。与合作伙伴账户共享快照可以启用来自亚马逊云科技ISV生态系统的这些补充功能。例如,客户可能允许安全供应商对包含AMI人工制品或生产数据的快照执行只读访问,以自动扫描漏洞或恶意软件,而不会影响正在运行的应用程序。强大的协调工具还可以利用快照来迁移数据并协调复杂的工作流程。
在深入探讨几个关键快照概念和能力时,演讲者通过增量快照的工作原理的视觉演示来巩固那些不熟悉这种存储效率方法的人的理解。一个还没有写入任何数据的空1TB卷会产生一个持有0数据的初始快照。向此卷写入恰好3个数据块并创建第一个快照将存储这些相同的3个数据块于快照中。在未来向此卷写入额外的3个新独特数据块并创建第二个快照仅存储这些额外的3个新数据块,同时只需引用存储在第一个快照中的原始3个数据块。这防止了随着时间的推移在快照之间重复大量未更改的数据,节省了大量的存储空间和成本。
其他一些重要观点再次强调——快照本质上代表了捕捉当时时间点上的整个卷状态的完整备份,只有已更改的块会按增量存储以最小化存储足迹和相关成本,以及在帐户和区域之间轻松共享快照简化了灾难恢复策略,跨区域数据移动和其他使用场景。
在关注安全性方面,演讲者详细阐述了一些用于加强和保护关键快照数据的方法:
-
加密:EBS无缝集成了亚马逊云科技的密钥管理服务(KMS),使用AES-256加密技术对整个卷及其快照进行加密。创建的卷默认情况下会自动加密,即使快照未加密,也可以通过复制快照并指定在复制过程中应用的KMS密钥来进行追溯加密。
-
共享和权限:EBS快照作为私有且孤立的资源,其访问限制默认为仅允许创建它们的亚马逊云科技账户和IAM用户。在不同账户和团队之间共享快照需要明确操作,以与特定账户共享并应用权限。尽管在大多数情况下不建议这样做,但快照也可以完全公开。
-
阻止公共访问:这个最新功能可以防止在帐户级别共享EBS快照,以确保持续限制曝光。该功能提供了两个选项,以提供不同的灵活性——阻止所有尝试使快照公开的尝试,同时允许现有公共快照继续共享,或者除了防止任何新的公开共享之外,立即全面阻止对所有现有公共快照的访问。
-
快照锁:将锁应用于快照可以防止它在定义的用户设置时间内被删除。这支持具有不可变数据存储要求的合规需求,如具有WORM类型的存储要求。它还可以防止意外和恶意删除快照备份的尝试。锁定可以应用于长达1天至100年左右的任何持续时间。两种模式提供了不同的灵活性水平:合规模式会阻止任何用户在锁定定义的到期时间到达之前撤销或更改锁定,而治理模式允许某些已获批准的IAM用户或角色在真正需要时保留撤销或修改锁定的权限。
首先,需要确定哪些特定的EBS快照和卷已经被加密,而不是未加密。这可以通过使用亚马逊云科技的DescribeVolumes等API并在加密参数上进行筛选,或者通过使用跟踪历史资源配置的Amazon Config规则来完成。此外,还可以使用API或如Config之类的工具来确定哪些账户启用了加密或禁用了加密。
接下来,确定是否要标准化使用亚马逊云科技管理的KMS密钥还是客户管理的KMS密钥。客户管理的密钥涉及额外的开销来创建和管理,但它为加密快照的跨账户共享提供了更多的灵活性。而亚马逊云科技管理的密钥则更简单,适合单账户使用场景。
更新用于EBS加密的默认KMS密钥以匹配所选择的任何标准密钥。在所有账户和区域中默认启用加密以涵盖所有未来的新EBS卷和快照资源。
复制任何现有的未加密快照,并使用所选的标准密钥重新加密它们。可以从未加密的快照创建新的加密副本。
创建任何剩余的未加密遗产卷的非加密快照以捕获现有数据。
然后,将应用程序迁移到从加密快照创建的新卷上。
遵循此过程可确保所有EBS快照和卷在账户之间一致地采用加密最佳做法,同时通过自动化和一次性迁移优化安全管理人员的管理开销。
在这些安全功能的基础上,演讲者还提供了两个强大的新特性——EBS快照锁和阻止公共访问的技术细节。
阻止所有公共共享 - 这是最为严格的设置,不仅阻止了新尝试将快照公开,而且立即撤销了过去某个时刻以前共享的任何现有快照的访问。然而,这并不意味着完全禁止公共共享,而是允许现有的公共快照继续共享并保持可访问性,同时阻止未来任何尝试将更多快照公开的尝试。
- 阻止新的公共共享 - 这允许未来的公共快照继续保持可访问性,而不会泄露可能的敏感数据。尽管如此,业务仍然可以在真正需要的情况下对一些公共共享具有灵活性,例如公共数据集。建议在此模式下启用阻止公共访问,作为默认选项,除非公开EBS快照绝对必要。
在转换到新的演讲者之后,讨论进一步深入到了EBS快照的崩溃一致性和应用程序一致性之间的差异。
崩溃一致性快照包含了在启动快照请求时已成功保存到磁盘的所有已完成写入操作。通常情况下,仍在内存中或操作系统缓冲缓存中进行的任何写入都不会被包含在崩溃一致性快照中。与此相反,应用程序一致性快照与诸如数据库之类的实际应用程序紧密协作,将所有内存缓冲刷新到磁盘,暂时冻结应用程序I/O,然后启动快照,最后在快照完成后恢复正常操作。这确保了在内存或正在进行的操作中没有数据丢失。数据库和其他关键任务应用程序需要应用程序一致性,以避免在崩溃或备份期间发生损坏或数据丢失。例如,一个电子商务网站可能需要应用程序一致的快照来避免在快照之前没有完全提交到磁盘的任何已经完成但尚未提交的事务丢失。然而,许多客户还需要更具弹性的工作负载(如Web服务器、文件系统、日志数据或完整性不是非常关键的应用程序成果)的崩溃一致性快照。例如,一个内容管理系统可能在使用崩溃一致性足够的EBS上存储图像和文档。为了满足这些不同的需求,亚马逊Data Lifecycle Manager (DLM)提供了可自定义的策略来自动化在EC2实例附接的子集卷上创建崩溃一致的EBS快照。客户可以智能地排除启动卷或临时卷等特定卷,以在一致性对那些卷不是必需时节省成本。DLM可以用于完全自动化快照调度、保留管理和可选的跨区域复制以进行灾难恢复。客户定义精确指定要拍摄哪些卷、要排除哪些卷、保留期限、目标区域等的粒细策略。DLM可靠地处理执行策略并自动捕捉时间点上的崩溃一致快照。基于这些关于崩溃一致性的DLM功能,发言人宣布了一项令人兴奋的新功能,即通过无缝地将DLM与亚马逊云科技的Systems Manager文档和自动化集成,以实现真正的应用程序一致性快照的协调。
-
DLM启动Systems Manager预快照脚本,该脚本通过EC2代理运行数据库命令,如清空所有内存缓冲区、打开事务等,并暂时暂停进一步的数据库I/O活动。
-
预快照脚本完成后,向DLM发送成功信号。
-
DLM通过标准的EBS API在指定卷上进行常规崩溃一致的快照。
-
崩溃一致的快照成功后,DLM立即触发后置快照脚本。
-
后置快照脚本恢复正常的数据库操作。
-
在后台,EBS快照完成并永久保存到S3。
这种精心编排的方式确保了应用程序的一致性。DLM会在最佳时间根据设定的工作日程自动调用预和后脚本。用户只需提供针对其特定数据库和版本的定制脚本即可。
例如,用户可以提供预构建的SQL Server、SAP Hana和MySQL等脚本。如果使用了这些常见的数据库之一,用户在创建DLM策略时只需选择合适的脚本即可。对于较少见或自定义的应用程序,用户需要编写自己的实施静止、快照、恢复工作流的脚本。
用户还应充分利用Amazon RDS等托管服务的原生应用程序特定备份功能以及EBS快照,以获得最大保护。RDS原生备份能提供时间点恢复,并针对每个数据库引擎优化性能。EBS快照可以在卷上提供额外的保护层。
总的来说,关于崩溃一致性、应用程序一致性和利用DLM的核心观点包括:
为了确保数据保护的开销达到最佳平衡,可以通过将崩溃频率与应用程序的一致性快照相匹配来实现。这对于数据库和其他交易应用程序尤为重要,因为它们需要保持应用程序的一致性,以防止在崩溃或备份过程中出现损坏。对于更具弹性的工作负载,可以使用轻量级的崩溃一致性。通过使用分布式锁服务(DLM)自动化的策略驱动计划,可以轻松地在数千个卷上管理崩溃和应用程序一致性快照。此外,DLM现在已与Amazon Systems Manager集成,使得在处理所有任务时能够实现无缝协调,并为数据库提供完全的应用程序一致性。总的来说,这种新的DLM功能——默认快照策略——可以自动为所有卷和实例应用备份保留规则,同时在执行操作之前智能地检查是否有其他过程最近创建了快照,从而避免了由多个重叠工具导致的重复备份问题。用户可以将默认策略用作备份保险政策,或者作为其他过程意外失败或配置错误的备份的最终保护。这种默认策略代表了所有Amazon EBS卷和Amazon EC2实例的简单、统一的保护,作为其他更具体、量身定制的应用程序策略的补充安全网。总的来说,这次有见地的会议的核心收获包括:Amazon EBS快照作为一种高效的增量时间点备份,用于保护关键卷数据,并支持各种使用场景,如恢复能力、灾难恢复和跨区域数据移动。内置加密、访问控制和不可变快照锁定为休眠快照数据提供了纵深防御的安全性和合规性。将崩溃一致性与应用程序一致性快照的频率相匹配,以确保在最小的开销下实现最佳数据保护。DLM自动化简化了使用策略驱动的计划跨越数千个卷的管理,无论是崩溃还是应用程序一致的快照。
快照归档为应对管理和合规要求提供了一个低成本且长期的保留方案。这主要得益于其默认的DLM策略,该策略能在所有卷和实例上提供一致的备份保障。
作为亚马逊云科技为客户提供的数据保护解决方案之一,EBS快照具有强大、安全且功能丰富的特点,能够轻松保护客户的关键业务数据和应用。通过增量备份、安全控制、应用一致性集成、强大的自动化以及分层存储等功能的结合,EBS快照成为了各行各业和客户用例中保护关键数据的简单且可靠的选择。
下面是一些演讲现场的精彩瞬间:
领导者关注EBS快照的相关问题,包括其用途、使用方法以及安全性。
尽管EBS快照默认设置为私有,但领导者强调,如有需要,可以通过特定账户以私有或公共方式共享。
亚马逊云科技部门的领导详细解释了如何使EBS快照符合合规性要求,以便在快照被锁定之前设置一个冷却期,使其保持可编辑状态。
通过回收站功能,提供了软删除选项,以便在一定保留期内恢复意外删除的亚马逊云科技资源,如快照和镜像。
演讲内容解释了在亚马逊云科技中,崩溃一致性快照与应用一致性快照之间的差异。
亚马逊云科技的分布式数据生命周期管理(DLM)允许客户自动化自管理数据库在EC2上运行的数据库快照工作流程,例如MySQL和SAP HANA。
领导者讨论了如何使用Data Lifecycle Manager根据需求来自动执行不同类型EBS快照的过程。
总结
本次演讲来自于亚马逊云科技re:Invent活动,主要探讨了亚马逊弹性数据块存储(EBS)快照的相关话题。演讲着重介绍了EBS快照的关键特性、适用场景以及近期的安全增强功能。演讲者首先对亚马逊云科技的存储服务进行了概括性描述,以便让听众更好地理解EBS快照在整个存储体系中的地位。作为默认情况下具有崩溃一致性的EBS卷的增量和时间点备份,EBS快照在灾难恢复、跨账户分发镜像以及内部数据迁移等场景中具有广泛的应用价值。
演讲的重点之一是介绍了一系列新的安全功能,包括基于亚马逊云科技KMS密钥的EBS加密技术,限制快照共享的“公开区块访问”限制,以及防止意外删除的“快照锁定”功能。建议在所有资源和账户中启用加密,并在使用客户管理的KMS密钥的情况下共享跨账户的快照。
接下来,演讲涉及到了数据生命周期管理器,它可以自动化创建EBS快照和AMI。如今,DLM已经支持自定义预脚本和后脚本来与应用程序协同工作,从而生成应用一致的快照。这一集成系统还可以记录系统管理员文档,以便在执行创建快照操作时在EC2实例上执行相应的命令。
最后,演讲者呼吁观众通过DLM实现自动备份,使用快照存档进行长期保留,并参加即将举行的re:Invent,以获取更多关于这些EBS快照功能的相关信息。
演讲原文
https://blog.csdn.net/just2gooo/article/details/134812422
想了解更多精彩完整内容吗?立即访问re:Invent 官网中文网站!
2023亚马逊云科技re:Invent全球大会 - 官方网站
点击此处,一键获取亚马逊云科技全球最新产品/服务资讯!
点击此处,一键获取亚马逊云科技中国区最新产品/服务资讯!
即刻注册亚马逊云科技账户,开启云端之旅!
【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”
亚马逊云科技是谁?
亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者,自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务,涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体,以及应用开发、部署与管理等方面;基础设施遍及 31 个地理区域的 99 个可用区,并计划新建 4 个区域和 12 个可用区。全球数百万客户,从初创公司、中小企业,到大型企业和政府机构都信赖亚马逊云科技,通过亚马逊云科技的服务强化其基础设施,提高敏捷性,降低成本,加快创新,提升竞争力,实现业务成长和成功。