EFS
Elastic File System
serverless
可以挂在到一个instance上
可以挂载到multi-AZ的不同instance上
EFS 文件系统不能直接跨越多个 AWS region进行挂载。
扩展到 PB 级数,在添加和删除文件时自动增加和缩减
EFS 基于NFS协议的文件存储服务,是一个分布式的文件系统,允许多个 Amazon EC2 实例同时访问和共享文件。
POSIX 兼容性:Amazon EFS 设计为与 POSIX 文件系统接口兼容,因此你可以将现有的应用程序和工作负载迁移到 EFS 上,而无需进行大量修改。
- Highly available, scalable, expensive (3x gp2), pay per use
- Use cases: content management, web serving, data sharing,Wordpress
- Uses NFSv4.1 protocol
- Uses security group to control access to EFS
- Compatible with Linux based AMI (not Windows):兼容Linux AMI(不支持Windows)
- 不支持在基于微软 Windows 的Amazon EC2 实例上使用 Amazon EFS。
- Encryption at rest using KMS
储类别选项:
- 标准存储类别
- EFS Standard: 经常访问的数据需要最高的耐久性和可用性。
- EFS Standard–IA: 寿命长、不经常访问的数据,需要最高的耐久性和可用性。
- 单区存储类别
-
EFS One Zone:经常访问的数据,不需要最高水平的耐久性和可用性。
-
EFS One Zone-IA:寿命长、不经常访问的数据,不需要最高水平的耐久性和可用性。
由于 EFS One Zone 存储类将数据存储在单个AWS可用区中,因此在发生影响可用区内所有数据副本的灾难或其他故障时,或者可用区被破坏时,存储在这些存储类中的数据可能会丢失。
-
FSx
File System for Windows and Lustre
- Amazon FSx for Windows File Server 是一种托管的Windows文件共享服务,支持标准的SMB协议,适用于文件共享和备份。
- 提供了完全托管的第三方文件系统。
- 启动、运行和扩缩功能丰富的高性能文件系统
FSx for Windows File Server:
- Windows 兼容性:FSx for Windows File Server 支持标准的 Server Message Block(SMB)协议,这是 Windows 环境中常用的文件共享协议。您可以使用现有的 Windows 工具和应用程序,无缝地连接和访问 FSx 文件系统。
- 可伸缩性:FSx 可以根据您的需求自动扩展存储和性能,确保您始终能够满足不断增长的文件存储需求。
- 备份和数据复制:FSx 自动处理数据的备份和复制,确保数据的高度可靠性和持久性。
- 集成 AWS 功能:FSx 与其他 AWS 服务紧密集成,例如 Amazon S3、AWS Identity and Access Management(IAM)等,帮助您构建全面的存储和数据管理解决方案。
FSx for Lustre:
**high performance computing(HPC)**高性能计算
可扩展的、低延迟的
适用于 HPC、机器学习、媒体处理等场景
存储类型
- 固态硬盘 (SSD):
- 对于低延迟、IOPS 密集型工作负载,这些工作负载通常具有小型随机文件操作,请选择其中一个 SSD 存储选项。
- 硬盘驱动器 (HDD)
- 对于吞吐量密集型工作负载,这些工作负载通常具有大型顺序文件操作,请选择其中一个 HDD 存储选项。
seamless integration with S3
与S3无缝集成: 允许您在 Lustre 文件系统中无缝访问和处理 Amazon S3 存储的对象数据
- 直接访问 S3 数据:FSx for Lustre 可以直接访问存储在 Amazon S3 上的对象数据
- 数据一致性:当您将数据从 Amazon S3 写入 Lustre 文件系统或从 Lustre 文件系统写回到 S3 时,FSx for Lustre 会确保数据的一致性。
- 高性能:Lustre 文件系统和 Amazon S3 存储都是高性能的服务。通过 Seamless Integration with S3,您可以在 Lustre 文件系统中利用 Lustre 的低延迟和高吞吐量特性来快速读取和处理 S3 存储的数据,从而提高数据处理效率。
- 数据持久性:由于 Lustre 文件系统直接访问 S3 存储的数据,数据的持久性和可靠性与 Amazon S3 保持一致。
FSx file system deployment options-文件部署选项
- Persistent File System (持久文件系统)
- temporary storage
- data is not replicated (doesn’t persist when file server fails).意味着如果文件服务器发生故障,数据可能会丢失。
- high bust
- usage :short-term processing, optimize costs
- Scratch File System (短期文件系统)
- long-term storage
- data is replicated witnin same AZ
- raplace failed files within minutes确保数据的可靠性和完整性。
- usage: long-term processing , sensitive data
FSx for NetApp ONTAP:
一项完全托管的服务,提供基于流行的 ONTAP 文件系统构建的高可靠、可扩展、高性能和功能丰富的文件存储。
- 企业级性能和功能:FSx for NetApp ONTAP 基于 NetApp 公司的存储操作系统,提供了企业级的性能、可靠性和功能。
- 多协议支持:支持 Network File System (NFS) 和 Server Message Block (SMB) 等多种协议,与不同应用程序和环境无缝集成。
- 高可用性:FSx for NetApp ONTAP 部署在多个 AWS 可用区,提供数据冗余和高可用性。
- 数据备份和恢复:FSx for NetApp ONTAP 支持数据备份、快照和灾难恢复,确保数据的安全性。
FSx for OpenZFS:
- Amazon FSx for Lustre 是一种高性能的托管文件系统服务,适用于高性能计算、机器学习、媒体处理等场景。可选择SSD或HDD存储类型,并可以与Amazon S3无缝集成。
- Windows 兼容性:FSx for Windows File Server 支持标准的 Server Message Block(SMB)协议,这是 Windows 环境中常用的文件共享协议。您可以使用现有的 Windows 工具和应用程序,无缝地连接和访问 FSx 文件系统。
- 可伸缩性:FSx 可以根据您的需求自动扩展存储和性能,确保您始终能够满足不断增长的文件存储需求。
- 备份和数据复制:FSx 自动处理数据的备份和复制,确保数据的高度可靠性和持久性。
- 集成 AWS 功能:FSx 与其他 AWS 服务紧密集成,例如 Amazon S3、AWS Identity and Access Management(IAM)等,帮助您构建全面的存储和数据管理解决方案。