AWS-SAA学习笔记-05【EFS FSx】

EFS

Elastic File System

serverless

可以挂在到一个instance上

可以挂载到multi-AZ的不同instance上

EFS 文件系统不能直接跨越多个 AWS region进行挂载。

扩展到 PB 级数，在添加和删除文件时自动增加和缩减

EFS 基于NFS协议的文件存储服务，是一个分布式的文件系统，允许多个 Amazon EC2 实例同时访问和共享文件。

POSIX 兼容性：Amazon EFS 设计为与 POSIX 文件系统接口兼容，因此你可以将现有的应用程序和工作负载迁移到 EFS 上，而无需进行大量修改。

➡️ POSIX（Portable Operating System Interface，可移植操作系统接口）是一组操作系统标准，旨在提供一种标准化的编程接口，使不同操作系统上的应用程序能够在不进行太多修改的情况下移植和运行。

• Highly available, scalable, expensive (3x gp2), pay per use
• Use cases: content management, web serving, data sharing,Wordpress
• Uses NFSv4.1 protocol
• Uses security group to control access to EFS
• Compatible with Linux based AMI (not Windows)：兼容Linux AMI（不支持Windows）
• 不支持在基于微软 Windows 的Amazon EC2 实例上使用 Amazon EFS。
• Encryption at rest using KMS

储类别选项：

• 标准存储类别
  • EFS Standard: 经常访问的数据需要最高的耐久性和可用性。
  • EFS Standard–IA: 寿命长、不经常访问的数据，需要最高的耐久性和可用性。
• 单区存储类别

  • EFS One Zone:经常访问的数据，不需要最高水平的耐久性和可用性。

  • EFS One Zone-IA:寿命长、不经常访问的数据，不需要最高水平的耐久性和可用性。

    由于 EFS One Zone 存储类将数据存储在单个AWS可用区中，因此在发生影响可用区内所有数据副本的灾难或其他故障时，或者可用区被破坏时，存储在这些存储类中的数据可能会丢失。

FSx

File System for Windows and Lustre

• Amazon FSx for Windows File Server 是一种托管的Windows文件共享服务，支持标准的SMB协议，适用于文件共享和备份。
• 提供了完全托管的第三方文件系统。
• 启动、运行和扩缩功能丰富的高性能文件系统

FSx for Windows File Server：

• Windows 兼容性：FSx for Windows File Server 支持标准的 Server Message Block（SMB）协议，这是 Windows 环境中常用的文件共享协议。您可以使用现有的 Windows 工具和应用程序，无缝地连接和访问 FSx 文件系统。
• 可伸缩性：FSx 可以根据您的需求自动扩展存储和性能，确保您始终能够满足不断增长的文件存储需求。
• 备份和数据复制：FSx 自动处理数据的备份和复制，确保数据的高度可靠性和持久性。
• 集成 AWS 功能：FSx 与其他 AWS 服务紧密集成，例如 Amazon S3、AWS Identity and Access Management（IAM）等，帮助您构建全面的存储和数据管理解决方案。

FSx for Lustre：

**high performance computing(HPC)**高性能计算

可扩展的、低延迟的

适用于 HPC、机器学习、媒体处理等场景

存储类型

• 固态硬盘 (SSD):
  • 对于低延迟、IOPS 密集型工作负载，这些工作负载通常具有小型随机文件操作，请选择其中一个 SSD 存储选项。
• 硬盘驱动器 (HDD)
  • 对于吞吐量密集型工作负载，这些工作负载通常具有大型顺序文件操作，请选择其中一个 HDD 存储选项。

seamless integration with S3

与S3无缝集成: 允许您在 Lustre 文件系统中无缝访问和处理 Amazon S3 存储的对象数据

1. 直接访问 S3 数据：FSx for Lustre 可以直接访问存储在 Amazon S3 上的对象数据
2. 数据一致性：当您将数据从 Amazon S3 写入 Lustre 文件系统或从 Lustre 文件系统写回到 S3 时，FSx for Lustre 会确保数据的一致性。
3. 高性能：Lustre 文件系统和 Amazon S3 存储都是高性能的服务。通过 Seamless Integration with S3，您可以在 Lustre 文件系统中利用 Lustre 的低延迟和高吞吐量特性来快速读取和处理 S3 存储的数据，从而提高数据处理效率。
4. 数据持久性：由于 Lustre 文件系统直接访问 S3 存储的数据，数据的持久性和可靠性与 Amazon S3 保持一致。

FSx file system deployment options-文件部署选项

• Persistent File System (持久文件系统)
  • temporary storage
  • data is not replicated (doesn’t persist when file server fails).意味着如果文件服务器发生故障，数据可能会丢失。
  • high bust
  • usage :short-term processing, optimize costs
• Scratch File System (短期文件系统)
  • long-term storage
  • data is replicated witnin same AZ
  • raplace failed files within minutes确保数据的可靠性和完整性。
  • usage: long-term processing , sensitive data

FSx for NetApp ONTAP：

一项完全托管的服务，提供基于流行的 ONTAP 文件系统构建的高可靠、可扩展、高性能和功能丰富的文件存储。

• 企业级性能和功能：FSx for NetApp ONTAP 基于 NetApp 公司的存储操作系统，提供了企业级的性能、可靠性和功能。
• 多协议支持：支持 Network File System (NFS) 和 Server Message Block (SMB) 等多种协议，与不同应用程序和环境无缝集成。
• 高可用性：FSx for NetApp ONTAP 部署在多个 AWS 可用区，提供数据冗余和高可用性。
• 数据备份和恢复：FSx for NetApp ONTAP 支持数据备份、快照和灾难恢复，确保数据的安全性。

FSx for OpenZFS：

• Amazon FSx for Lustre 是一种高性能的托管文件系统服务，适用于高性能计算、机器学习、媒体处理等场景。可选择SSD或HDD存储类型，并可以与Amazon S3无缝集成。
  • Windows 兼容性：FSx for Windows File Server 支持标准的 Server Message Block（SMB）协议，这是 Windows 环境中常用的文件共享协议。您可以使用现有的 Windows 工具和应用程序，无缝地连接和访问 FSx 文件系统。
  • 可伸缩性：FSx 可以根据您的需求自动扩展存储和性能，确保您始终能够满足不断增长的文件存储需求。
  • 备份和数据复制：FSx 自动处理数据的备份和复制，确保数据的高度可靠性和持久性。
  • 集成 AWS 功能：FSx 与其他 AWS 服务紧密集成，例如 Amazon S3、AWS Identity and Access Management（IAM）等，帮助您构建全面的存储和数据管理解决方案。