- 博客(140)
- 收藏
- 关注
原创 东方银行--用 MinIO 和 Dremio 替代 Hadoop
此外,频繁的系统中断影响了银行满足严格的 SLA 和监管要求的能力。MinIO 专为分析和 AI 工作负载而设计,可提供可扩展且有弹性的数据基础,以满足银行激增的分析需求。对于旨在实现下一代数据驱动型洞察的组织来说,他们的成功凸显了 MinIO 的战略部署如何克服分析限制并释放新的潜力。通过将 MinIO 的快速对象存储与 Dremio 的加速查询引擎相结合,该银行建立了一流的分析堆栈。通过采用 MinIO 的云原生对象存储,该银行克服了传统基础设施的限制,从而提高了性能、确保了弹性并解锁了新的创新。
2024-08-23 15:50:26
580
原创 PostgreSQL 与对象存储的结合: 在 MinIO 中访问外部数据
在现代数据环境中,有效存储和分析数据的能力至关重要。通过利用 MinIO 企业对象存储的这些功能,结合 PostgreSQL 的强大功能,您很快将能够构建一个现代、安全且高度可扩展的现代数据湖,以满足当今数据密集型环境的需求。此设置不仅可以增强您的分析能力,还可以为面向未来的数据策略奠定坚实的基础,确保您的基础架构能够适应不断变化的数据管理环境。将 PostgreSQL 与 MinIO 的企业对象存储 (EOS) 集成为构建现代数据湖奠定了坚实的基础,提供的功能可确保您的数据具有可扩展性、安全性和高性能。
2024-08-23 15:49:47
981
原创 MinIO 企业级人工智能存储的数据和驱动器同等重要
例如,使用 14 个数据驱动器和 2 个奇偶校验驱动器,一个对象只能承受 2 个驱动器损失,如果丢失了第 3 个驱动器,则将丢失数据。例如,在 10 个驱动器的 MinIO 部署中,标准存储类设置为 6 个数据和 4 个奇偶校验驱动器,发送到此 MinIO 部署的所有 PutObject 请求都将以 6 个数据和 4 个奇偶校验配置存储对象。现在,您可以做出最适合您的用例的权衡,即您可以通过在 MinIO 部署中正确设置存储类使用值来优化以获得更好的冗余或更好的存储使用率。标准存储类是部署的默认存储类。
2024-08-23 15:48:51
315
原创 现代数据湖的基础: 对象存储如何锚定一切
在成功实施的现代数据湖中,对象存储的作用不应仅仅提供一个存储数据的位置。与 SAN 和 NAS、块存储和其他传统存储解决方案不同,云原生对象存储(如 MinIO 的企业对象存储)提供了无与伦比的可扩展性、持久性和简单性。通过将存储与现代数据湖中的计算分离,像 MinIO 这样的对象存储使您能够专注于数据本身,而不是您的基础设施。可塑性:无论您是处理 TB 级、PB 级还是 EB 级,唯一适合现代工作负载的对象存储类型是无需费力扩展的对象存储,使您能够专注于真正重要的事情 — 从数据中提取价值。
2024-08-12 17:35:46
242
原创 DORA 法规及其对企业数据存储影响的架构师指南
传统的存储解决方案将难以满足 DORA 的严格要求。对于负责存储和管理 DORA 规定的新数据要求的 IT 架构师,我们希望分享他们吸取的经验教训,希望其他人能够理解此法规的细微差别以及它对数据存储策略发展的意义。MinIO 在一半的时间内部署到金融机构的生产环境中(如果您想要一个精彩的故事,请联系我们,了解我们如何在一个漫长的周末从 0 个节点增加到 290 个节点)。这促使许多企业架构师重新设计他们的存储解决方案,以处理增加的数据量,提供更强大的安全性,并在发生违规的情况下支持快速数据检索和恢复。
2024-08-12 17:35:04
476
原创 利用 Splunk 对人工智能数据基础设施进行 Spelunk 分析
MinIO Enterprise 允许管理员配置各种类型的通知,包括审计日志(提供有关集群内发生的任何 API 活动的详细信息,例如创建新存储桶、添加或删除对象、listBucket 调用等)和 MinIO Enterprise 服务器日志,它提供有关服务器上发生的错误的详细信息。在 MinIO Enterprise,我们相信简单性是可以扩展的,这一理念延伸到我们的日志记录。但是,在我们微小的测试设置中,我们已经丢失了一半的磁盘,如果我们丢失了更多磁盘,我们将无法访问数据。本身并不一定是什么大不了的。
2024-08-12 17:34:20
709
原创 MinIO DataPod:百亿亿次级计算的参考架构
在可预见的未来,这将是人们看待企业的方式。公司的平均年增长率为42%,以数据为中心的公司的增长速度是这个数字的两倍,甚至更多。MinIO 的 DataPOD 基础设施蓝图使基础设施管理员能够简单明了地设置所需的商品现成硬件,这些硬件具有高度可扩展性、高性能、成本效益高的 S3 兼容 MinIO 企业对象存储,从而缩短了整体上市时间,并加快了企业环境中跨组织的 AI 计划的价值实现时间。用于对象存储的定制硬件设备通常通过昂贵的硬件和复杂的解决方案来弥补设计不佳的软件,从而导致高昂的总拥有成本 (TCO)。
2024-08-02 19:23:18
762
原创 细分 Insight 合作伙伴 2024 年企业技术状况报告
20%的人只会增长。通过为您的基础设施奠定坚实的基础,您可以自动执行最平凡的任务,并专注于将您的基础设施扩展到一个新的水平。多年来,我们一直在强调这一点 - 云运营模型是软件定义的、容器化的、编排的、API 驱动的(以 S3 为例)和面向微服务。我们可以说的是,凭借小于 100 MB 的二进制文件,MinIO 可以在任何地方运行,从火箭到汽车,显然还有数据中心。拥有从边缘到核心的一致数据平台的能力是吸引许多企业使用 MinIO 的原因,也是每个防御/情报组织似乎都在大规模运行 MinIO 的原因。
2024-08-02 19:21:06
682
原创 基于 Kafka 的经验:AutoMQ 和 MinIO 如何解决成本和弹性挑战
AutoMQ 是 Kafka 的一个开源分支,它以基于对象存储的共享存储架构取代了 Kafka 的存储层,同时 100% 复用了 Kafka 的计算层代码,保证了与 Kafka API 协议和生态系统的完全兼容性。得益于 MinIO 与 AWS S3 API 的完全兼容性,您甚至可以在私有数据中心部署 AutoMQ 集群,以获得与 Kafka API 完全兼容的流式处理系统,但提供更好的成本效益、极高的可扩展性和个位数毫秒的延迟。请注意,您只能在创建时复制密钥,因此请确保访问密钥的两个部分都是安全的。
2024-08-02 19:17:51
1066
原创 冰山的崛起:数据架构的转变
设备、不是为云构建的存储、性能不佳和操作复杂的存储在这种新的层次结构中没有立足之地。在人工智能不断增长的数据需求的推动下,随着数据湖的扩展,可扩展的存储变得至关重要。在众多令人钦佩的参赛者的竞争环境中,这种崛起类似于 Kubernetes 如何成为 Docker Swarm 的主导容器编排平台,突破了容器化应用程序的可能性界限。因此,我们可以预期数据存储上的计算选项将激增,从而削弱昂贵的专有计算解决方案的主导地位。在这种贪婪的数据吞噬过程中,将对高性能、可扩展和可用存储的需求。为什么这种转变对用户有好处。
2024-08-02 19:17:01
445
原创 使用 MinIO、Langchain 和 Ray Data 构建分布式嵌入式子系统
其他子系统是用于创建自定义语料库的数据管道,用于查询向量数据库以向用户查询添加更多上下文的检索器,最后是托管大型语言模型 (LLM) 的服务子系统,并将根据用户的查询和在向量数据库中找到的上下文生成答案。当你使用像 Ray Data 这样的库来分发数据处理时——在本例中是文本的分块和每个块的嵌入生成——你真正要做的就是编排简单的函数调用,这些函数调用在此过程中执行一项任务。但是,如果您必须为您的组织实施嵌入子系统,那么您如何为您的组织做出正确的设计决策,以及您如何应对不断增长的需求带来的复杂性?
2024-08-02 19:16:09
740
原创 目录的 “IT ”时刻及其对 MinIO、对象存储和人工智能的意义
通过实现此 API,不同的目录服务可以互操作,使用户能够利用各种目录实现的优势,而不会被锁定在单一供应商或技术中。我们对 GET 上的 MinIO 进行了基准测试,其速度为 325 GiB/s (349 GB/s),PUT 上的 MinIO 为 165 GiB/s (177 GB/s),仅具有 32 个现成的 NVMe SSD 节点。通过围绕通用标准进行调整,并建立在世界上性能最高的对象存储之上,可以部署在任何地方,现代数据湖社区可以克服碎片化,减少供应商锁定,并培养一个更具协作性和创新性的生态系统。
2024-07-26 11:11:33
338
原创 深入了解:MinIO 企业对象存储的可观察性
通常情况下,当我们将这些信息关联起来形成叙述时,我们就会有更好的理解。在上一篇博客中,我们在一个非常高的层面上讨论了可观察性:在介绍层面上的一万英尺视图。您可以使用混沌工程工具(例如 Gremlin、ChaosMonkey、我们自己的 MinIO Warp 等)来分解您的系统并观察指标中的模式。例如,也许您正在收集 HTTP 请求状态,通常,您一直看到 200 秒,但突然间,您看到 500 秒的峰值。启用复制后,可以跟踪所有与复制相关的状态,例如剩余要复制的对象和复制速度等。API 应用程序接口。
2024-07-26 11:10:21
256
原创 在 MinIO 使用 SVE 将 ARM 带入人工智能数据基础设施领域
ARM CPU 架构的最新发展,特别是可扩展矢量扩展 (SVE),为我们提供了比前几代产品显著提高性能和效率的机会,并使 ARM 成为 AI 数据基础设施生态系统中的一流公民。从图表中可以明显看出,随着内核数量的增加,性能完全线性扩展,并开始达到内存带宽限制,大约在 50 到 52 个内核之间,对于较大的块大小。性能继续扩展,并开始使用总共 64 个内核中的 32 个左右。我们很高兴地宣布,我们通过添加对两种关键算法的 SVE 支持,即纠缠编码和位腐蚀检测,扩展了对 ARM CPU 架构的支持,如下所述。
2024-07-26 11:09:19
290
原创 新私有云架构师指南
这篇文章最初出现在 The New Stack 上。在那里的几年里,“私有云”一词具有负面含义。但正如我们所知,技术更像是一个轮子而不是一个箭头,而且就在提示下,私有云正在受到大量关注,而且这一切都是积极的。统计数据很清楚,Forrester 的 2023 年基础设施云调查显示,在 1,300 名企业决策者中,有 79% 的人表示他们正在实施私有云。根据 Citrix 在英国的一份报告,94% 的 IT 领导者参与了遣返工作。久负盛名的 IDC 发现,80% 的公司在将部分或全部数据迁移到云端后的一年内将其
2024-07-26 11:07:58
311
原创 OpenShift 的 App Store:OperatorHub 中的 MinIO
这让您的组织高枕无忧,因为他们知道您的开发人员安装的操作员在安全性和合规性方面值得信任。因为他们可以访问非常关键的基础设施,而您不想只是从 GitHub 存储库中安装一些随机运算符,这可能会降低您的系统性能,或者在最坏的情况下损害它。因此,让您的开发人员能够访问此类运营商市场至关重要,这样他们就可以构建为您的应用程序提供支持所需的基础设施。这就是这里的关键,在不失去原生管理基础架构云的能力的情况下,从云中解脱出来。为了让 TLS 正常工作,我们必须更新 MinIO 操作员使用的证书,让我们继续这样做。
2024-07-26 11:06:35
288
原创 通过强大的语义层增强现代数据湖
在现代数据湖架构中,语义层通过向数据添加有意义的上下文来发挥至关重要的作用,否则这些上下文会丢失。此层充当现代数据湖(数据仓库和查询引擎)处理层中未整理的原始数据与利用此数据的工具和应用程序之间的桥梁。通过采用统一的数据策略,组织可以提高其语义层的有效性,确保所有数据源都有助于形成一个有凝聚力和治理良好的数据环境。人工智能系统需要高质量的数据来避免“垃圾进,垃圾出”的困境,即糟糕的输入数据会导致有缺陷的输出。需要注意的是,虽然对象存储可以支持广泛的数据,但通常语义层中的产品只能对结构化数据进行操作。
2024-07-26 11:04:55
349
原创 通过强大的语义层增强现代数据湖
在现代数据湖架构中,语义层通过向数据添加有意义的上下文来发挥至关重要的作用,否则这些上下文会丢失。此层充当现代数据湖(数据仓库和查询引擎)处理层中未整理的原始数据与利用此数据的工具和应用程序之间的桥梁。通过采用统一的数据策略,组织可以提高其语义层的有效性,确保所有数据源都有助于形成一个有凝聚力和治理良好的数据环境。人工智能系统需要高质量的数据来避免“垃圾进,垃圾出”的困境,即糟糕的输入数据会导致有缺陷的输出。需要注意的是,虽然对象存储可以支持广泛的数据,但通常语义层中的产品只能对结构化数据进行操作。
2024-07-26 11:02:35
248
原创 构建现代数据湖
该数据的存储和后续分析需要是无缝的、可扩展的、安全的和高性能的。当涉及到非常大的文件时,Hadoop在批处理方面是有效的,但从效率和延迟的角度来看,较小的文件却受到了影响,这实际上使它过时了,因为企业寻求处理和消费框架,这些框架可以批量、CDC和实时摄取各种大大小小的数据集。Hadoop是开源的,使用具有成本效益的商用硬件,这提供了一种具有成本效益的模型,这与传统的关系数据库不同,传统的关系数据库需要昂贵的硬件和高端处理器来处理大数据。检查能力、不受锁定的自由以及来自数以万计的用户的舒适性具有真正的价值。
2024-07-26 11:01:49
362
原创 使用 Snorkel 和 MinIO 的以数据为中心的 AI
在这篇文章中,我将介绍以数据为中心的 AI 的概念,这是一个由 Snorkel AI 的人首先创造的术语。在这篇文章中,我定义了以模型为中心的 AI,并介绍了以数据为中心的 AI。以数据为中心的人工智能的前提是,即使使用更简单的模型,高质量的数据也可以显着提高人工智能的性能。在某些情况下,您可能希望表达一种非常特定类型的信号,该信号还没有相应的模板,或者使用只有您有权访问的闭源库 - 在这种情况下,您可以使用 Python SDK 在 Snorkel Flow 集成笔记本中定义自定义 LF,如下所示。
2024-07-26 11:00:33
279
原创 MinIO 突破了Boundary
您可能更熟悉的术语是“在公园里打球”,这是棒球中的一个参考。通过支持 HCP Boundary,MinIO 不仅可以作为单一的统一存储来满足 AI/ML 基础设施的存储需求,包括存储 AI/ML 模型、存储和使用的原始数据,以便能够训练这些模型、Snowflake 和 SQL Server 外部表,而且现在它甚至可以存储您的 AI 基础设施访问日志并回放它们以进行审计。这使您可以在单个统一的 AI 数据存储后端中简化工具和流程,以访问您的数据,同时专注于构建和扩展应用程序,同时将存储留给 MinIO。
2024-07-26 10:59:36
274
原创 Databricks 收购 Tabular 的意义:数据开放框架的胜利
虽然有些人可能会质疑 Databricks 收购 Tabular 背后的动机,特别是考虑到收购是在 Snowflake 的年度用户大会上宣布的,当时有传言称 Snowflake 本身正在谈判收购 Tabular,但 Databricks 确实拥有开源的诚意,可以为 Iceberg 和更广泛的社区做出积极贡献。开放框架使组织能够避免供应商锁定(尤其是在主要供应商急于支持 Iceberg 的情况下),并提供与各种数据源和分析工具轻松集成的灵活性,以及与各种数据源和分析工具轻松集成的灵活性。
2024-07-26 10:58:15
346
原创 Databricks 收购 Tabular 的意义:数据开放框架的胜利
虽然有些人可能会质疑 Databricks 收购 Tabular 背后的动机,特别是考虑到收购是在 Snowflake 的年度用户大会上宣布的,当时有传言称 Snowflake 本身正在谈判收购 Tabular,但 Databricks 确实拥有开源的诚意,可以为 Iceberg 和更广泛的社区做出积极贡献。开放框架使组织能够避免供应商锁定(尤其是在主要供应商急于支持 Iceberg 的情况下),并提供与各种数据源和分析工具轻松集成的灵活性,以及与各种数据源和分析工具轻松集成的灵活性。
2024-07-10 16:09:34
914
原创 架构师机器学习操作 (MLOps) 指南
查看上面的功能,并记下您需要的功能、当前作为现有 CI/CD 管道一部分的功能,最后,您不需要的功能,这将帮助您找到最合适的功能。检查点模型和版本控制大型数据集需要可扩展的容量,如果您使用昂贵的 GPU,您将需要高性能的基础设施来充分利用您的投资。在实验过程中,数据的设计、模型的设计和使用的参数都会发生变化。实验跟踪还应该促进可重复性 - 如果在五年前的实验中获得了理想的结果,而之后的实验降低了模型的性能,那么您应该能够使用 MLOps 工具返回并获取确切的超参数,以及用于产生理想结果的数据集特征。
2024-07-10 16:08:35
1050
原创 迁移至 AI-Ready 基础架构:日立内容平台至 MinIO
借助我们的 HCP-to-MinIO 工具,从 Hitachi Content Platform (HCP) 过渡到 MinIO 从未如此简单。1 . 现代应用程序要求:MinIO 是 Kubernetes 原生的,专为云运营模式而构建,这意味着它本质上支持大多数用于分析、统计分析和 AI/ML 工作负载的现代应用程序堆栈。2 . 大规模性能:MinIO 可有效处理从非常小到非常大的混合对象大小,确保数据密集型 AI 操作的最佳性能。2 . 保留元数据:该工具在迁移过程中保留对象的修改时间戳。
2024-07-10 16:07:58
185
原创 使用 MinIO 赢得 RAG 权利
作为 MinIO 专注于 AI 集成的开发人员,我一直在探索如何将我们的工具无缝集成到现代 AI 架构中,以提高效率和可扩展性。但你陷入了一个难题。您以前听说过这些术语LLM和 RAG,但除此之外,由于未知,您并没有冒险太多。现在我们已经有了基本的 webhook 工作,让我们在 MinIO 仓库桶中设置 lanceDB vector databse,我们将在其中保存所有嵌入和其他元数据字段。因此,在这篇博客中,我们将演示如何使用 MinIO 使用商用硬件构建基于检索增强生成 (RAG) 的聊天应用程序。
2024-07-10 16:07:13
659
原创 人工智能建立在对象存储上的真正原因
除了性能和与现代 ML 堆栈的兼容性之外,对象存储的设计选择,即 (1) 扁平命名空间,(2) 将整个对象(及其元数据)封装为最低逻辑实体,以及 (3) 简单的 HTTP 谓词 API,是导致对象存储成为大规模非结构化数据湖的事实标准的原因。在过去的几年里,这给机器学习和数据基础设施的构建方式带来了彻底的变化——即:存储和计算的分离,构建充满非结构化数据的大规模云原生数据湖,以及可以快速进行矩阵乘法的专用硬件。数据集和基于数据集进行训练的模型是宝贵的资产,是时间、工程努力和金钱的来之不易的产物。
2024-07-10 16:06:18
740
原创 GenAI 技术堆栈架构师指南 - 十种工具
不是老式的、基于设备的对象存储,它服务于廉价和深入的存档用例,而是现代的、高性能的、软件定义的和 Kubernetes 原生对象存储,它们是现代 GenAI 堆栈的基石,它们可以作为服务(AWS、GCP、Azure)或本地或混合/两者提供,例如 MinIO。幸运的是,一些开源库可以对许多常见的文档格式做到这一点。我之前写过关于现代数据湖参考架构的文章,解决了每个企业面临的挑战——更多的数据、老化的Hadoop工具(特别是HDFS)以及对RESTful API(S3)和性能的更大需求——但我想填补一些空白。
2024-07-10 16:05:32
655
原创 Snowflake 外部表的最新增强功能:您需要了解的内容
外部表允许 Snowflake 用户将对象存储(如 MinIO)中的数据视为 Snowflake 中的只读表,而无需迁移。这是有道理的,因为对于组织来说,无论数据位于何处,无论是在本地、公有云还是在边缘,连接和利用其数据是多么重要。通过掌握这些更新,您可以确保在 Snowflake 中对外部表的使用保持优化和安全,通过利用您的数据来充分利用这个强大的数据平台所提供的功能,无论数据位于何处。这些更新使 Snowflake 的外部表功能更强大、更易于使用,从而帮助组织更有效、更安全地管理其数据。
2024-07-10 16:04:15
227
原创 WARP 加速您的 AI 数据存储基础设施
你知道一些最好的人工智能模型的秘诀吗?这是他们可以访问的数据量,他们可以接受培训。对于 AI/ML 模型:快速访问数据为王。让我强调一下,这不仅仅是数据,而是快速访问的数据。如果有人可以构建更快、更强大的模型,那么你已经输掉了人工智能竞赛。在设计 AI 基础设施组件(尤其是数据存储组件)时,当 ML 工程师和数据科学家需要存储机器学习算法并有效管理 MinIO 集群中的可用资源时,确保他们的整体体验至关重要。这确保了快速有效地构建可靠的模型,而不会成为存储基础设施的瓶颈。
2024-06-24 17:47:54
348
原创 Dell ECS 数据移动到 MinIO
Dell ECS 集群允许您将数据迁移到任何 S3 兼容存储。Dell ECS 将此功能称为“数据移动”,也称为复制到云。这是 ECS 3.8.0.1 中引入的一项功能,允许您将对象从戴尔 ECS 复制到 MinIO,这在客户和潜在客户中非常受欢迎,他们正在对其存储堆栈进行现代化改造以支持其 AI 数据基础架构要求。数据移动建立在 ECS Sync 开源工具之上,该工具提供了并行复制数据的功能。
2024-06-24 17:47:18
882
原创 将 MinIO 与 Keycloak OIDC 集成
如您所见,要使 Keycloak 等 OIDC 工具与 MinIO 集成,无需做太多工作。您只需将 OIDC 工具配置为接受来自 MinIO 的身份验证请求,并将 MinIO 设置为重定向到您的 OIDC 工具。您现在可以使用这个实际工作示例来配置您自己的 OIDC。
2024-06-24 17:46:39
923
原创 使用外部表增强 Snowflake
如果您是希望添加 Snowflake 功能的 MinIO 客户,或者您是希望将其功能扩展到存储在 Snowflake 外部的数据的 Snowflake 客户,请尝试一下。
2024-06-24 17:46:02
958
原创 公共云遣返的经济性
在过去的几年里,显而易见的是,尽管公有云具有所有优势,但它并不能大规模地节省成本。它在一定程度上提高了生产力,但不会降低您的成本。公有云的好处在于,它提供了一个非常强大的价值主张,即基础设施可以立即使用,而且规模恰到好处,从而提高了运营和经济效率。云还有助于培养创新,因为公司资源被释放出来,可以专注于新产品和增长。但是,仅仅与数据交互的行为就会产生出口成本,这已被证明是极其掠夺性的。
2024-06-24 17:45:25
699
原创 混合云管道的未来:集成 MinIO、Tailscale 和 GitHub Actions
我们的数据处理工作流在 YAML 文件中定义,由推送到主分支的事件、手动触发器和计划事件触发。此设置可确保每当更改按指定计划推送到主分支或手动触发时,我们的管道都会自动运行。on:push:branches:- mainschedule:jobs:steps:with:run: |run: |with:run: |with:关键工作流程步骤说明:1 . 签出存储库:此步骤从 GitHub 存储库中签出代码,确保在工作流中使用最新版本。
2024-06-24 17:44:53
681
原创 Kubernetes 中 ElasticSearch 中的 MinIO 审核日志
如您所见,快速注意这些审核日志非常重要。事实上,您可以通过监控系统或直接通过 ElasticSearch 设置警报,以根据某些日志向您发送警报,以便您可以掌握 MinIO 存储基础设施。更重要的是,您需要将云视为一种运营模式,而不是一个位置。这意味着,无论您在哪里部署工具和基础设施,无论是混合云、私有云还是本地部署,您都希望确保将 MinIO 审计日志发送到日志处理器,而不必是 ElasticSearch。这样,无论您将 MinIO 部署在何处,您都可以确保它的每一步都受到监控。
2024-06-24 17:43:56
490
原创 Snowflake 外部表的最新增强功能:您需要了解的内容
自从我们上一篇关于如何使用 MinIO 扩展 Snowflake 实现的博客文章以来,Snowflake 对外部表的支持已经发生了重大更新。外部表允许 Snowflake 用户将对象存储(如 MinIO)中的数据视为 Snowflake 中的只读表,而无需迁移。Snowflake 对其外部表功能的持续增强清楚地表明了此功能的日益普及。这是有道理的,因为对于组织来说,无论数据位于何处,无论是在本地、公有云还是在边缘,连接和利用其数据是多么重要。
2024-06-24 17:43:01
349
原创 MinIO 推出技术认证
这是第一次 MinIO 认证考试。随着时间的流逝,我们将推出更多的。尽管如此,我们很高兴专业人士能够获得此认证,并为那些成功通过测试的人提供一些赃物 - 包括数字和物理测试。
2024-06-24 17:41:56
336
原创 使用 MLRun 和 MinIO 进行模型训练和 MLOps
在这篇文章中,我继续了我关于设置 MLRun 的上一篇文章。我展示了如何使用 MLRun 以最小的更改来托管现有的模型代码。但是,利用 MLRun 跟踪功能的最佳方法是让 MLRun 管理模型的训练。虽然可以将现有代码移动到 MLRun,但这种技术并不能充分利用 MLRun 的自动跟踪功能。更好的方法是使用 MLRun 的“mlrun_torch.train()”函数。这允许 MLRun 全面管理训练 - 将记录工件、输入参数和指标。
2024-06-24 17:41:09
841
原创 AI 基础设施要点——AB Periasamy 和 Matthew DeMello 主持的 AI
GPU 产生的价值是众所周知的,市场是有效的,将减少 Nvidia 今天赚取的超额租金。AB解释说,最新的人工智能突破的核心是我们的人脑从很早就做的事情:将思想捕捉为多维向量,并非常有效地进行交流和分析。MinIO 的联合创始人兼首席执行官 AB Periasamy 最近在 AI in Business 播客中亮相,他与 Emerj 的高级编辑 Matthew DeMello 就企业的 AI 基础设施和对象存储进行了丰富的对话。这是将他们与其他人区分开来的资产,你拥有的越多,你的生活就越好。
2024-06-24 17:40:21
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人