MinIO分布式存储-CSDN博客

原创东方银行--用 MinIO 和 Dremio 替代 Hadoop

此外，频繁的系统中断影响了银行满足严格的 SLA 和监管要求的能力。MinIO 专为分析和 AI 工作负载而设计，可提供可扩展且有弹性的数据基础，以满足银行激增的分析需求。对于旨在实现下一代数据驱动型洞察的组织来说，他们的成功凸显了 MinIO 的战略部署如何克服分析限制并释放新的潜力。通过将 MinIO 的快速对象存储与 Dremio 的加速查询引擎相结合，该银行建立了一流的分析堆栈。通过采用 MinIO 的云原生对象存储，该银行克服了传统基础设施的限制，从而提高了性能、确保了弹性并解锁了新的创新。

2024-08-23 15:50:26 580

原创 PostgreSQL 与对象存储的结合：在 MinIO 中访问外部数据

在现代数据环境中，有效存储和分析数据的能力至关重要。通过利用 MinIO 企业对象存储的这些功能，结合 PostgreSQL 的强大功能，您很快将能够构建一个现代、安全且高度可扩展的现代数据湖，以满足当今数据密集型环境的需求。此设置不仅可以增强您的分析能力，还可以为面向未来的数据策略奠定坚实的基础，确保您的基础架构能够适应不断变化的数据管理环境。将 PostgreSQL 与 MinIO 的企业对象存储（EOS）集成为构建现代数据湖奠定了坚实的基础，提供的功能可确保您的数据具有可扩展性、安全性和高性能。

2024-08-23 15:49:47 981

原创 MinIO 企业级人工智能存储的数据和驱动器同等重要

例如，使用 14 个数据驱动器和 2 个奇偶校验驱动器，一个对象只能承受 2 个驱动器损失，如果丢失了第 3 个驱动器，则将丢失数据。例如，在 10 个驱动器的 MinIO 部署中，标准存储类设置为 6 个数据和 4 个奇偶校验驱动器，发送到此 MinIO 部署的所有 PutObject 请求都将以 6 个数据和 4 个奇偶校验配置存储对象。现在，您可以做出最适合您的用例的权衡，即您可以通过在 MinIO 部署中正确设置存储类使用值来优化以获得更好的冗余或更好的存储使用率。标准存储类是部署的默认存储类。

2024-08-23 15:48:51 315

原创现代数据湖的基础：对象存储如何锚定一切

在成功实施的现代数据湖中，对象存储的作用不应仅仅提供一个存储数据的位置。与 SAN 和 NAS、块存储和其他传统存储解决方案不同，云原生对象存储（如 MinIO 的企业对象存储）提供了无与伦比的可扩展性、持久性和简单性。通过将存储与现代数据湖中的计算分离，像 MinIO 这样的对象存储使您能够专注于数据本身，而不是您的基础设施。可塑性：无论您是处理 TB 级、PB 级还是 EB 级，唯一适合现代工作负载的对象存储类型是无需费力扩展的对象存储，使您能够专注于真正重要的事情 — 从数据中提取价值。

2024-08-12 17:35:46 242

原创 DORA 法规及其对企业数据存储影响的架构师指南

传统的存储解决方案将难以满足 DORA 的严格要求。对于负责存储和管理 DORA 规定的新数据要求的 IT 架构师，我们希望分享他们吸取的经验教训，希望其他人能够理解此法规的细微差别以及它对数据存储策略发展的意义。MinIO 在一半的时间内部署到金融机构的生产环境中（如果您想要一个精彩的故事，请联系我们，了解我们如何在一个漫长的周末从 0 个节点增加到 290 个节点）。这促使许多企业架构师重新设计他们的存储解决方案，以处理增加的数据量，提供更强大的安全性，并在发生违规的情况下支持快速数据检索和恢复。

2024-08-12 17:35:04 476

原创利用 Splunk 对人工智能数据基础设施进行 Spelunk 分析

MinIO Enterprise 允许管理员配置各种类型的通知，包括审计日志（提供有关集群内发生的任何 API 活动的详细信息，例如创建新存储桶、添加或删除对象、listBucket 调用等）和 MinIO Enterprise 服务器日志，它提供有关服务器上发生的错误的详细信息。在 MinIO Enterprise，我们相信简单性是可以扩展的，这一理念延伸到我们的日志记录。但是，在我们微小的测试设置中，我们已经丢失了一半的磁盘，如果我们丢失了更多磁盘，我们将无法访问数据。本身并不一定是什么大不了的。

2024-08-12 17:34:20 709

原创 MinIO DataPod：百亿亿次级计算的参考架构

在可预见的未来，这将是人们看待企业的方式。公司的平均年增长率为42%，以数据为中心的公司的增长速度是这个数字的两倍，甚至更多。MinIO 的 DataPOD 基础设施蓝图使基础设施管理员能够简单明了地设置所需的商品现成硬件，这些硬件具有高度可扩展性、高性能、成本效益高的 S3 兼容 MinIO 企业对象存储，从而缩短了整体上市时间，并加快了企业环境中跨组织的 AI 计划的价值实现时间。用于对象存储的定制硬件设备通常通过昂贵的硬件和复杂的解决方案来弥补设计不佳的软件，从而导致高昂的总拥有成本（TCO）。

2024-08-02 19:23:18 762

原创细分 Insight 合作伙伴 2024 年企业技术状况报告

20%的人只会增长。通过为您的基础设施奠定坚实的基础，您可以自动执行最平凡的任务，并专注于将您的基础设施扩展到一个新的水平。多年来，我们一直在强调这一点 - 云运营模型是软件定义的、容器化的、编排的、API 驱动的（以 S3 为例）和面向微服务。我们可以说的是，凭借小于 100 MB 的二进制文件，MinIO 可以在任何地方运行，从火箭到汽车，显然还有数据中心。拥有从边缘到核心的一致数据平台的能力是吸引许多企业使用 MinIO 的原因，也是每个防御/情报组织似乎都在大规模运行 MinIO 的原因。

2024-08-02 19:21:06 682

原创基于 Kafka 的经验：AutoMQ 和 MinIO 如何解决成本和弹性挑战

AutoMQ 是 Kafka 的一个开源分支，它以基于对象存储的共享存储架构取代了 Kafka 的存储层，同时 100% 复用了 Kafka 的计算层代码，保证了与 Kafka API 协议和生态系统的完全兼容性。得益于 MinIO 与 AWS S3 API 的完全兼容性，您甚至可以在私有数据中心部署 AutoMQ 集群，以获得与 Kafka API 完全兼容的流式处理系统，但提供更好的成本效益、极高的可扩展性和个位数毫秒的延迟。请注意，您只能在创建时复制密钥，因此请确保访问密钥的两个部分都是安全的。

2024-08-02 19:17:51 1066

原创冰山的崛起：数据架构的转变

设备、不是为云构建的存储、性能不佳和操作复杂的存储在这种新的层次结构中没有立足之地。在人工智能不断增长的数据需求的推动下，随着数据湖的扩展，可扩展的存储变得至关重要。在众多令人钦佩的参赛者的竞争环境中，这种崛起类似于 Kubernetes 如何成为 Docker Swarm 的主导容器编排平台，突破了容器化应用程序的可能性界限。因此，我们可以预期数据存储上的计算选项将激增，从而削弱昂贵的专有计算解决方案的主导地位。在这种贪婪的数据吞噬过程中，将对高性能、可扩展和可用存储的需求。为什么这种转变对用户有好处。

2024-08-02 19:17:01 445

原创使用 MinIO、Langchain 和 Ray Data 构建分布式嵌入式子系统

其他子系统是用于创建自定义语料库的数据管道，用于查询向量数据库以向用户查询添加更多上下文的检索器，最后是托管大型语言模型（LLM）的服务子系统，并将根据用户的查询和在向量数据库中找到的上下文生成答案。当你使用像 Ray Data 这样的库来分发数据处理时——在本例中是文本的分块和每个块的嵌入生成——你真正要做的就是编排简单的函数调用，这些函数调用在此过程中执行一项任务。但是，如果您必须为您的组织实施嵌入子系统，那么您如何为您的组织做出正确的设计决策，以及您如何应对不断增长的需求带来的复杂性？

2024-08-02 19:16:09 740

原创目录的 “IT ”时刻及其对 MinIO、对象存储和人工智能的意义

通过实现此 API，不同的目录服务可以互操作，使用户能够利用各种目录实现的优势，而不会被锁定在单一供应商或技术中。我们对 GET 上的 MinIO 进行了基准测试，其速度为 325 GiB/s （349 GB/s），PUT 上的 MinIO 为 165 GiB/s （177 GB/s），仅具有 32 个现成的 NVMe SSD 节点。通过围绕通用标准进行调整，并建立在世界上性能最高的对象存储之上，可以部署在任何地方，现代数据湖社区可以克服碎片化，减少供应商锁定，并培养一个更具协作性和创新性的生态系统。

2024-07-26 11:11:33 338

原创深入了解：MinIO 企业对象存储的可观察性

通常情况下，当我们将这些信息关联起来形成叙述时，我们就会有更好的理解。在上一篇博客中，我们在一个非常高的层面上讨论了可观察性：在介绍层面上的一万英尺视图。您可以使用混沌工程工具（例如 Gremlin、ChaosMonkey、我们自己的 MinIO Warp 等）来分解您的系统并观察指标中的模式。例如，也许您正在收集 HTTP 请求状态，通常，您一直看到 200 秒，但突然间，您看到 500 秒的峰值。启用复制后，可以跟踪所有与复制相关的状态，例如剩余要复制的对象和复制速度等。API 应用程序接口。

2024-07-26 11:10:21 256

原创在 MinIO 使用 SVE 将 ARM 带入人工智能数据基础设施领域

ARM CPU 架构的最新发展，特别是可扩展矢量扩展（SVE），为我们提供了比前几代产品显著提高性能和效率的机会，并使 ARM 成为 AI 数据基础设施生态系统中的一流公民。从图表中可以明显看出，随着内核数量的增加，性能完全线性扩展，并开始达到内存带宽限制，大约在 50 到 52 个内核之间，对于较大的块大小。性能继续扩展，并开始使用总共 64 个内核中的 32 个左右。我们很高兴地宣布，我们通过添加对两种关键算法的 SVE 支持，即纠缠编码和位腐蚀检测，扩展了对 ARM CPU 架构的支持，如下所述。

2024-07-26 11:09:19 290

原创新私有云架构师指南

这篇文章最初出现在 The New Stack 上。在那里的几年里，“私有云”一词具有负面含义。但正如我们所知，技术更像是一个轮子而不是一个箭头，而且就在提示下，私有云正在受到大量关注，而且这一切都是积极的。统计数据很清楚，Forrester 的 2023 年基础设施云调查显示，在 1,300 名企业决策者中，有 79% 的人表示他们正在实施私有云。根据 Citrix 在英国的一份报告，94% 的 IT 领导者参与了遣返工作。久负盛名的 IDC 发现，80% 的公司在将部分或全部数据迁移到云端后的一年内将其

2024-07-26 11:07:58 311

原创 OpenShift 的 App Store：OperatorHub 中的 MinIO

这让您的组织高枕无忧，因为他们知道您的开发人员安装的操作员在安全性和合规性方面值得信任。因为他们可以访问非常关键的基础设施，而您不想只是从 GitHub 存储库中安装一些随机运算符，这可能会降低您的系统性能，或者在最坏的情况下损害它。因此，让您的开发人员能够访问此类运营商市场至关重要，这样他们就可以构建为您的应用程序提供支持所需的基础设施。这就是这里的关键，在不失去原生管理基础架构云的能力的情况下，从云中解脱出来。为了让 TLS 正常工作，我们必须更新 MinIO 操作员使用的证书，让我们继续这样做。

2024-07-26 11:06:35 288

原创通过强大的语义层增强现代数据湖

在现代数据湖架构中，语义层通过向数据添加有意义的上下文来发挥至关重要的作用，否则这些上下文会丢失。此层充当现代数据湖（数据仓库和查询引擎）处理层中未整理的原始数据与利用此数据的工具和应用程序之间的桥梁。通过采用统一的数据策略，组织可以提高其语义层的有效性，确保所有数据源都有助于形成一个有凝聚力和治理良好的数据环境。人工智能系统需要高质量的数据来避免“垃圾进，垃圾出”的困境，即糟糕的输入数据会导致有缺陷的输出。需要注意的是，虽然对象存储可以支持广泛的数据，但通常语义层中的产品只能对结构化数据进行操作。

2024-07-26 11:04:55 349

原创通过强大的语义层增强现代数据湖

在现代数据湖架构中，语义层通过向数据添加有意义的上下文来发挥至关重要的作用，否则这些上下文会丢失。此层充当现代数据湖（数据仓库和查询引擎）处理层中未整理的原始数据与利用此数据的工具和应用程序之间的桥梁。通过采用统一的数据策略，组织可以提高其语义层的有效性，确保所有数据源都有助于形成一个有凝聚力和治理良好的数据环境。人工智能系统需要高质量的数据来避免“垃圾进，垃圾出”的困境，即糟糕的输入数据会导致有缺陷的输出。需要注意的是，虽然对象存储可以支持广泛的数据，但通常语义层中的产品只能对结构化数据进行操作。

2024-07-26 11:02:35 248

原创构建现代数据湖

该数据的存储和后续分析需要是无缝的、可扩展的、安全的和高性能的。当涉及到非常大的文件时，Hadoop在批处理方面是有效的，但从效率和延迟的角度来看，较小的文件却受到了影响，这实际上使它过时了，因为企业寻求处理和消费框架，这些框架可以批量、CDC和实时摄取各种大大小小的数据集。Hadoop是开源的，使用具有成本效益的商用硬件，这提供了一种具有成本效益的模型，这与传统的关系数据库不同，传统的关系数据库需要昂贵的硬件和高端处理器来处理大数据。检查能力、不受锁定的自由以及来自数以万计的用户的舒适性具有真正的价值。

2024-07-26 11:01:49 362

原创使用 Snorkel 和 MinIO 的以数据为中心的 AI

在这篇文章中，我将介绍以数据为中心的 AI 的概念，这是一个由 Snorkel AI 的人首先创造的术语。在这篇文章中，我定义了以模型为中心的 AI，并介绍了以数据为中心的 AI。以数据为中心的人工智能的前提是，即使使用更简单的模型，高质量的数据也可以显着提高人工智能的性能。在某些情况下，您可能希望表达一种非常特定类型的信号，该信号还没有相应的模板，或者使用只有您有权访问的闭源库 - 在这种情况下，您可以使用 Python SDK 在 Snorkel Flow 集成笔记本中定义自定义 LF，如下所示。

2024-07-26 11:00:33 279

原创 MinIO 突破了Boundary

您可能更熟悉的术语是“在公园里打球”，这是棒球中的一个参考。通过支持 HCP Boundary，MinIO 不仅可以作为单一的统一存储来满足 AI/ML 基础设施的存储需求，包括存储 AI/ML 模型、存储和使用的原始数据，以便能够训练这些模型、Snowflake 和 SQL Server 外部表，而且现在它甚至可以存储您的 AI 基础设施访问日志并回放它们以进行审计。这使您可以在单个统一的 AI 数据存储后端中简化工具和流程，以访问您的数据，同时专注于构建和扩展应用程序，同时将存储留给 MinIO。

2024-07-26 10:59:36 274

原创 Databricks 收购 Tabular 的意义：数据开放框架的胜利

虽然有些人可能会质疑 Databricks 收购 Tabular 背后的动机，特别是考虑到收购是在 Snowflake 的年度用户大会上宣布的，当时有传言称 Snowflake 本身正在谈判收购 Tabular，但 Databricks 确实拥有开源的诚意，可以为 Iceberg 和更广泛的社区做出积极贡献。开放框架使组织能够避免供应商锁定（尤其是在主要供应商急于支持 Iceberg 的情况下），并提供与各种数据源和分析工具轻松集成的灵活性，以及与各种数据源和分析工具轻松集成的灵活性。

2024-07-26 10:58:15 346

原创 Databricks 收购 Tabular 的意义：数据开放框架的胜利

虽然有些人可能会质疑 Databricks 收购 Tabular 背后的动机，特别是考虑到收购是在 Snowflake 的年度用户大会上宣布的，当时有传言称 Snowflake 本身正在谈判收购 Tabular，但 Databricks 确实拥有开源的诚意，可以为 Iceberg 和更广泛的社区做出积极贡献。开放框架使组织能够避免供应商锁定（尤其是在主要供应商急于支持 Iceberg 的情况下），并提供与各种数据源和分析工具轻松集成的灵活性，以及与各种数据源和分析工具轻松集成的灵活性。

2024-07-10 16:09:34 914

原创架构师机器学习操作 (MLOps) 指南

查看上面的功能，并记下您需要的功能、当前作为现有 CI/CD 管道一部分的功能，最后，您不需要的功能，这将帮助您找到最合适的功能。检查点模型和版本控制大型数据集需要可扩展的容量，如果您使用昂贵的 GPU，您将需要高性能的基础设施来充分利用您的投资。在实验过程中，数据的设计、模型的设计和使用的参数都会发生变化。实验跟踪还应该促进可重复性 - 如果在五年前的实验中获得了理想的结果，而之后的实验降低了模型的性能，那么您应该能够使用 MLOps 工具返回并获取确切的超参数，以及用于产生理想结果的数据集特征。

2024-07-10 16:08:35 1050

原创迁移至 AI-Ready 基础架构：日立内容平台至 MinIO

借助我们的 HCP-to-MinIO 工具，从 Hitachi Content Platform （HCP）过渡到 MinIO 从未如此简单。1 . 现代应用程序要求：MinIO 是 Kubernetes 原生的，专为云运营模式而构建，这意味着它本质上支持大多数用于分析、统计分析和 AI/ML 工作负载的现代应用程序堆栈。2 . 大规模性能：MinIO 可有效处理从非常小到非常大的混合对象大小，确保数据密集型 AI 操作的最佳性能。2 . 保留元数据：该工具在迁移过程中保留对象的修改时间戳。

2024-07-10 16:07:58 185

原创使用 MinIO 赢得 RAG 权利

作为 MinIO 专注于 AI 集成的开发人员，我一直在探索如何将我们的工具无缝集成到现代 AI 架构中，以提高效率和可扩展性。但你陷入了一个难题。您以前听说过这些术语LLM和 RAG，但除此之外，由于未知，您并没有冒险太多。现在我们已经有了基本的 webhook 工作，让我们在 MinIO 仓库桶中设置 lanceDB vector databse，我们将在其中保存所有嵌入和其他元数据字段。因此，在这篇博客中，我们将演示如何使用 MinIO 使用商用硬件构建基于检索增强生成（RAG）的聊天应用程序。

2024-07-10 16:07:13 659

原创人工智能建立在对象存储上的真正原因

除了性能和与现代 ML 堆栈的兼容性之外，对象存储的设计选择，即（1）扁平命名空间，（2）将整个对象（及其元数据）封装为最低逻辑实体，以及（3）简单的 HTTP 谓词 API，是导致对象存储成为大规模非结构化数据湖的事实标准的原因。在过去的几年里，这给机器学习和数据基础设施的构建方式带来了彻底的变化——即：存储和计算的分离，构建充满非结构化数据的大规模云原生数据湖，以及可以快速进行矩阵乘法的专用硬件。数据集和基于数据集进行训练的模型是宝贵的资产，是时间、工程努力和金钱的来之不易的产物。

2024-07-10 16:06:18 740

原创 GenAI 技术堆栈架构师指南 - 十种工具

不是老式的、基于设备的对象存储，它服务于廉价和深入的存档用例，而是现代的、高性能的、软件定义的和 Kubernetes 原生对象存储，它们是现代 GenAI 堆栈的基石，它们可以作为服务（AWS、GCP、Azure）或本地或混合/两者提供，例如 MinIO。幸运的是，一些开源库可以对许多常见的文档格式做到这一点。我之前写过关于现代数据湖参考架构的文章，解决了每个企业面临的挑战——更多的数据、老化的Hadoop工具（特别是HDFS）以及对RESTful API（S3）和性能的更大需求——但我想填补一些空白。

2024-07-10 16:05:32 655

空空如也

空空如也