云计算的真实成本：一家网络安全公司如何利用 MinIO AIStor 找到更好的替代方案

MinIO分布式存储

于 2025-03-07 15:53:47 发布

阅读量714

点赞数 27

分类专栏： MinIO 分布式存储文章标签：云计算 web安全安全

本文链接：https://blog.csdn.net/miniopro/article/details/146097867

版权

MinIO 同时被 2 个专栏收录

97 篇文章

订阅专栏

分布式存储

96 篇文章

订阅专栏

在 SaaS 公司中并不少见的故事中，随着其日志数据扩展到数 EB，云原生网络安全组织面临着大幅上升的云成本。撇开存储成本不谈，仅对这些数据进行作的成本就变成了天文数字。该组织同时受到来自两方面的打击，因为存储成本只是问题的一部分：他们的云存储提供商 Amazon 的 S3 根本没有处理他们所需的日志作所需的性能来处理如此大量的数据。这家网络安全公司将继续在 AWS 上销售其托管服务，但它必须将其内部工作负载从公有云中移出。这就是带有 MinIO 的 AIStor 的本地架构介入并同时解决他们的两个问题的地方：成本和性能。

挑战

他们关心的是多方面的：他们必须确保在传输日志数据之前、期间和之后都没有中断。任何数据丢失或停机都会使他们失去客户和声誉。AWS 的定价结构是造成其困难的经济方面的原因。一般来说，虽然 S3 存储成本随数据量的增加而变化，但出口（传出 AWS）的额外费用、特殊存储类的检索费用和加密会产生额外费用。更具体地说，对于这家网络安全公司来说，GET 和 PUT 在公共云中作日志数据的成本已经变得无法忍受。每当这家网络安全公司想用自己的数据做任何事情时，都会产生新的费用。这些费用只会随着数据量的增加而加剧。最后，他们需要一个与 S3 兼容的对象存储，以便他们可以自行实施和管理。他们已经有一个依赖于 S3 API 的互锁数据架构。任何解决他们困难的方法都必须放入他们现有的堆栈中，并使用他们所拥有的一切。S3 API 是现代数据堆栈不可或缺的一部分;任何人在任何地方使用的几乎每个软件都以某种方式容纳 S3 API。这家网络安全公司尤其如此，其整个架构都依赖于 S3 API。

解决方案：采用 MinIO AIStor

在评估了他们面临的挑战并研究了潜在的解决方案后，他们意识到只有 AIStor 能够满足他们的需求。AIStor 的对象存储为他们提供了：

S3 兼容性：允许网络安全公司在不中断其运营的情况下进行迁移。
高性能：他们需要更快的检索时间来支持他们的安全分析和事件响应工作流程。AIStor 在 32 节点集群配置中具有高达 2.6 TB/秒（325 GiB/s）的读取速度和高达 1.32 TB/秒（165 GiB/s）的写入速度，是自然而然的选择。
可用性和弹性：纠删码是 AIStor 的核心组件，可在驱动器或节点级故障事件期间提供弹性，确保其安全作的持续正常运行时间。
一流的支持：随着网络安全公司的不断扩大，能够利用紧急按钮并直接与工程师互动以解决关键问题成为迫切需求。

实施和架构

这些安全日志数据是通过第三方以及使用 AIStor 作为 S3 兼容存储后端的自主开发的日志管理工具提取的。对于分析和安全事件处理，他们利用实时流式处理和批处理框架的组合，确保快速事件检测和响应。此外，他们的基础设施旨在支持高速网络，利用 NVMe 存储和 100 GbE 网络来高效处理其安全运营需求。AIStor 客户工程主管 Arvind Gupta 表示：“鉴于他们是一家安全公司，数据的持久性和可用性至关重要。这意味着他们需要确保写入 AIStor 对象存储的数据永远不会丢失。任何数据丢失对他们来说都至关重要，AIStor 也是如此。对于大多数组织来说，数据的持久性和可用性是最大的问题。MinIO 通过跨节点和驱动器的纠删码提供持久性。通过跨不同可用区和区域的多站点部署，可以实现高可用性。

这家 CyberSecurity 公司发现，他们可以使用现有的 DevOps 和 IT 人员进行迁移。他们在云技术方面的经验很容易转移到 AIStor。这是 AIStor 与 S3 API 完美对齐的更广泛努力的一部分，其中包括对齐错误消息。这意味着这家网络安全公司能够自行配置和部署 AIStor。当然，AIstor 能够在规划过程中提供帮助并就硬件提供建议，但这种迁移的繁重工作落在了网络安全公司自己的团队身上，他们能够毫不费力地进行管理。AIstor 在商用硬件上运行，这意味着这家网络安全公司能够使用易于访问且可靠的配置服务进行实施。无需采购、维护或培训专用设备。他们能够根据自己的需求更换硬件，并且由于他们不受任何特定供应商的束缚，因此他们可以在添加和更换硬件时协商最优惠的价格。再次证明拥有自己的数据在多个层面上具有成本效益。

处理类似的事情？

弄清楚如何处理日志或非结构化数据并不是网络安全的一个独特问题。许多组织都在努力解决管理的大量日志数据或保留多长时间的问题。使用托管服务进行日志的存储和管理可能非常昂贵。将这种方法分解并使用 AIStor 处理日志数据可能非常具有成本效益，就像这家网络安全公司一样。回到公有云成本的话题，飞涨和不可预测的云账单当然不是闻所未闻的。问题变成了，这些费用何时对组织不再有意义？存在一个转折点，日志数据量（或与此相关的任何数据）会累积到将数据存储在公有云中不再具有经济意义的程度。超过这个临界点，将数据和工作负载迁移到本地私有云是有意义的。当组织需要移动大量“热”数据时，或者由于分层、API 调用、复制、加密和类似过程，他们达到该阈值的速度要快得多。

云非常适合突发性、实验性和周期性工作负载，在我们的架构中将始终占有一席之地。但是，越来越多的组织像这家网络安全公司一样，开始将云理解为一种运营模式，而不是特定的供应商。换句话说，他们的堆栈可以针对云进行优化，而无需位于云中。

不断增长的足迹

这家网络安全公司继续扩大其 AIStor 业务范围，以支持围绕各种新计划不断增长的数据需求。自从从 AWS 汇回由 MinIO AIStor 提供支持的本地私有云以来，这家网络安全公司一直在不断扩展其现有集群并添加越来越多的集群。Gupta 解释说，这种足迹正在扩展到更多的工作负载：“他们正在探索新的用例和途径，以开始使用 MinIO 来满足所有数据需求。这家网络安全公司从 AWS 过渡到 AIStor 体现了云遣返在降低成本和提高性能方面的力量。通过利用 MinIO AIStor 的高性能、与 S3 兼容的对象存储，他们创建了一个可扩展、高性能且具有成本效益的基础设施来支持他们的运营。