aws存储优化

简介
Aws的存储服务包括Amaozon EBS, Amazon S3, Amazon SIA, Amazon Glacier，Amazon EFS，Amazon Storage Gateway等，如何合理的存储、管理和使用数据已成为最受人瞩目的话题，本文章将浅谈aws存储如何优化。

首先要确定您的数据存储需求
要优化存储，第一步是了解每个工作负载的性能配置文件。您应该进行性能分析，以度量每秒的输入/输出操作(IOPS)、吞吐量和其他变量。
AWS存储服务针对不同的存储场景进行了优化——不存在适用于所有工作负载的单一数据存储选项。在评估存储需求时，请分别考虑每个工作负载的数据存储选项。
以下问题可以帮助您在每个工作负载中分割数据并确定存储需求:
• 访问数据的频率和速度?AWS为频繁访问、不太频繁访问和不太频繁访问的数据提供存储选项和定价层。
• 您的数据存储是否需要高的IOPS或吞吐量?AWS提供了针对性能和吞吐量进行优化的存储类别。了解IOPS和吞吐量需求将帮助您提供适当的存储空间，并避免过高的开销。
• 您的数据有多重要(持久)?关键的或受管制的数据需要以几乎任何代价保存，而且往往要保存很长时间。
• 您的数据有多敏感?需要保护高度敏感的数据不受意外和恶意更改的影响，而不仅仅是数据丢失或损坏。耐久性、成本和安全性同样重要。
• 您的数据集有多大?了解数据集的总大小有助于估计存储容量和成本。
• 您的数据有多短暂?瞬态数据是短暂的，通常不需要很高的持久性。(注:耐久性是指年平均预计数据损失。)点击流和Twitter数据是瞬态数据的好例子。
• 你准备花多少钱来存储数据?为数据存储设置预算将告知您有关存储选项的决策。
AWS存储服务
为您的数据选择正确的AWS存储服务意味着在数据可用性、持久性和性能方面找到最接近的匹配
对象存储
Amazon Simple Storage Service (Amazon S3)是一种非常持久的通用对象存储，适用于媒体内容等非结构化数据集。Amazon S3在AWS云上提供了最高级别的数据持久性和可用性。有三层存储:分别存储热数据、暖数据和冷数据。在定价方面，数据越冷，存储就越便宜，需要时访问就越贵。你可以很容易地在这些存储选项之间移动数据，以优化存储成本:
块存储
Amazon Elastic Block Store (Amazon EBS)卷提供了用于EC2实例的持久块存储选项。对于需要长期持久性和快速访问的数据，可以使用Amazon EBS
文件存储
Amazon弹性文件系统(Amazon EFS)为EC2实例提供了简单的、可伸缩的文件存储。Amazon EFS同时支持任意数量的实例。它的存储容量可以从gb扩展到pb，而不需要提供存储。Amazon EFS是为大数据、媒体处理工作流、内容管理和web服务等工作负载和应用程序设计的。Amazon EFS还支持文件同步功能，因此您可以高效、安全地将文件从本地或云文件系统同步到Amazon EFS，速度比标准的Linux复制工具快5倍。
Amazon S3和Amazon EFS根据您的使用情况和您的付费来分配存储空间。但是，对于EBS卷，不管您是否使用它，都要为提供(分配)的存储而付费。在不牺牲所需功能的情况下保持低存储成本的关键是尽可能最大化地使用Amazon S3，并仅在应用程序需要时使用更昂贵的EBS卷，并提供I/O。

优化Amazon S3存储
Amazon S3允许您分析数据访问模式、创建库存列表和配置生命周期策略。您可以设置规则来自动将数据对象移动到更便宜的S3存储层，因为访问对象的频率更低，或者在过期日期后自动删除对象。为了最有效地管理存储数据，可以使用标记对S3对象进行分类，并在数据生命周期策略中过滤这些标记。
要确定何时将数据转换到另一个存储类，可以使用Amazon S3分析存储类分析来分析存储访问模式。分析桶中的所有对象，或使用对象标记或公共前缀筛选对象进行分析。如果随着时间的推移，您观察到过滤数据集的不频繁访问模式，那么您可以使用这些信息来选择更合适的存储类，改进生命周期策略，并对未来的使用和增长进行预测。
另一个管理工具是Amazon S3库存，它每周或每月审计和报告S3对象的复制和加密状态。这个特性提供了CSV输出文件，其中列出了对象及其对应的元数据，并允许您为一个bucket配置多个库存列表，这些列表由不同的S3元数据标记组织。您还可以使用Amazon Athena、Amazon Redshift Spectrum和其他工具(如Presto、Apache Hive和Apace Spark)使用标准SQL查询Amazon S3库存。
Amazon S3还可以向Amazon CloudWatch发布存储、请求和数据传输指标。存储指标每天报告一次，每隔一分钟报告一次，以获得粒度可见性，并且可以收集和报告整个桶或对象的子集(通过前缀或标记选择)。
有了这些存储管理工具提供的所有信息，您可以创建策略，将不太经常访问的数据S3数据转移到更便宜的存储层，从而节省大量的开销。例如，通过将数据从Amazon S3标准转移到Amazon S3标准- ia，您可以节省高达60%(以每千兆字节为基础)的Amazon S3定价。通过将生命周期结束时的数据转移到Amazon Glacier，并在极少数情况下访问这些数据，您可以节省高达80%的Amazon S3价格。
下表比较了在Amazon S3标准上存储1pb内容的每月成本和Amazon S3标准- IA(成本包括内容检索费)。它表明，如果每月访问10%的内容，使用Amazon S3标准- IA节省41%。如果有50%的内容被访问，节省下来的将是24%——这仍然是相当可观的。即使每月访问100%的内容，使用Amazon S3标准- IA也可以节省2%。
优化Amazon EBS存储
使用Amazon EBS时，一定要记住您要为所提供的容量和性能付费，即使卷是独立的或写活动非常少。为了优化Amazon EBS的存储性能和成本，需要定期监视卷，以识别未连接的卷、未充分利用的卷或过度利用的卷，并根据实际使用情况调整供应。
AWS提供的工具可以帮助您优化块存储。Amazon CloudWatch自动收集EBS卷的一系列数据点，并允许您设置卷行为的警报。AWS Trusted Advisor是分析基础设施的另一种方法，可以识别未连接的、未充分利用的和过度利用的EBS卷。第三方工具，如Cloudability，也可以提供对EBS卷性能的洞察。
归纳为以下三项：
1.删除未连接的Amazon EBS卷
2.调整或更改EBS卷类型
3.删除陈旧的Amazon EBS快照

总结：
存储优化是评估数据存储使用和需求的变化，并选择最经济、最合适的AWS存储选项的持续过程。对于对象存储，您希望实现Amazon S3生命周期策略，以便在数据访问频率降低时自动将数据移动到更便宜的存储层。对于Amazon EBS块存储，监视您的存储使用和大小调整未充分利用(或过度利用)的卷。您还希望删除未附加的卷和陈旧的Amazon EBS快照，这样就不必为未使用的资源付费。您可以为这项任务设置一个月计划，并利用AWS和第三方供应商提供的强大工具来监视存储成本和评估容量使用情况，从而简化存储优化过程。