为什么说 Confluent 收购 WarpStream 强化了对象存储作为数据流未来的地位?

Confluent 最近收购了 WarpStream,这对数据流和对象存储集成的未来具有重大影响。WarpStream 旨在直接在对象存储上运行。他们的 BYOC 模型使 WarpStream 能够利用云原生基础设施更有效地管理数据流工作负载,而无需传统 Apache Kafka 实施的典型可用区间网络成本和复杂性。此次收购的一个更微妙但更有影响力的方面是它如何加强对象存储在现代数据架构中日益增长的作用。随着 Confluent 集成 WarpStream,他们加入了越来越多的数据供应商的行列,这些供应商正在加倍使用对象存储来处理高容量、低延迟的工作负载。对象存储是 AI 和 ML 工作负载的主存储。

未来意味着成本效益

从对象存储的角度来看,WarpStream 对 MinIO 等可扩展存储解决方案的依赖使其能够处理实时数据摄取和处理的需求,同时降低成本。与传统的 Kafka 设置相比,在 MinIO 等高性能对象存储解决方案上构建 WarpStream 等实时数据流架构不仅可以简化部署,还可以节省大量成本。根据 WarpStream 自己的分析,与自托管 Kafka 相比,使用 WarpStream 的组织可以节省高达 85% 的成本,特别是通过避免区域间网络费用。这种成本节省还有另一个方面,通过分离计算和存储,同时使用 WarpStream 和 MinIO 的组织可以独立于其计算资源扩展对象存储。这种分离降低了具有大型数据湖或频繁数据流需求的组织的成本,因为它们避免了与传统存储架构相关的高额运营费用。分离还允许组织将其工作负载部署到最有意义的地方。WarpStream 和 MinIO 都可以选择在私有云、公共云、本地、托管或边缘部署,这有时会导致多云战略。这对于 AI/ML 项目尤其有益,因为 AI/ML 项目通常需要可扩展的存储解决方案来管理不断增长的数据集以进行训练和推理。例如,在 MinIO 的大规模部署中,例如 Microblink 的 AI 训练基础设施,MinIO 允许组织通过将计算遣返本地,同时将存储保留在云中来显著降低成本。这种策略不仅降低了同步复杂性,还降低了云基础设施昂贵的计算要求。Confluent 对 WarpStream 的收购清楚地表明,这些原则继续被更广泛的数据社区所接受。

适用于大规模部署的企业级功能

MinIO Enterprise Object Storage 的一个功能与 WarpStream 的架构特别一致,那就是企业目录。该工具允许用户利用强大的 GraphQL 界面实时查询和组织大量元数据。在大型部署中,索引和管理对象元数据的能力对于监管、合规性和运营分析至关重要。随着 WarpStream 在 Confluent 下扩展其功能,MinIO 的 Enterprise 功能集可确保高效管理庞大的数据湖。

扩展对象存储为主存储

此次收购表明,随着数据流的扩展,对象存储将继续在实现低成本、高性能、高可用性和可扩展的架构方面发挥基础性作用。MinIO 等工具可以与 WarpStream 的方法无缝集成,为填充和管理大规模数据湖提供强大的支持。对于已经利用对象存储的用户来说,此次收购可能意味着处理和管理实时数据的能力得到增强。在 Confluent 的支持下,WarpStream 现在可以加速其架构注册表和对象存储分区等功能的开发,使其成为希望在不影响灵活性的情况下简化数据湖基础设施的组织的绝佳选择。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值