现在云中存在的大量非结构化数据在很多方面改变了信息技术的本质。其中很重要的一点是,它导致了对象存储作为视频、图像和音频等数据的存储库被广泛使用。这种类型的存储在云环境中的普遍存在,但它最近受到数据库应用程序的影响。
对象存储所受到的一个打击是,虽然它在提供吞吐量方面相当出色,但在提供IOPS方面并不那么让人满意。这基本上让它不适合于数据库分析,更不用说机器学习和其他类型的I/O高要求的应用程序。
Minio是一家为私有云开发开源对象存储系统的公司,提供了高水平的吞吐量和IOPS。它是围绕亚马逊的S3 API构建的,可以说它是基于云的对象存储的事实标准。该平台允许你轻松地将应用程序移动到几乎任何类型的云环境中。
Minio首席执行官兼联合创始人Anand Babu Periasamy深入介绍了数据库为什么要迁移到对象存储。你可能还记得,Periasamy是GlusterFS最早的开发人员——GlusterFS是一个集群文件系统,旨在将非结构化数据引入更传统的POSIX风格的平台。
在某种程度上,Periasamy认为POSIX并不是互联网时代的最佳技术,因为他逐渐意识到它不适合在这些庞大的存储网络中执行文件操作。他考虑将S3网关集成到文件系统中,作为提供统一平台的一种方式。但很快,他意识到这两个模型根本上是不兼容的,因为S3网关给文件系统增加了太多的负担。他解释说:“你最终会得到一个普通的文件系统和一个糟糕的对象存储系统。”然而,GlusterFS颇有一些追随者,并于2011年被红帽收购。
最终,Periasamy决定开发一个专门围绕S3而构建的分布式文件系统。就这样诞生了Minio。不过,据Periasamy称,2014年公司成立时,他们并没有着手占领企业数据库市场。
在他看来,对象存储只是针对非结构化数据,而数据库是关于存储“可变元数据”,与云中大量的非结构化数据相比,这些企业数据库相对较小。他表示:“在过去的三年里,我学到的是,在这些组织中,消耗千兆字节存储空间的并不是照片和视频,而是peta规模的元数据。”
他所指的是企业正在积累并分析的金融交易、事件日志和其他类型日志使得存储不断增加。随着这些数据库的增长,管理员发现它们的扩展与传统的文件和块模型并不匹配。这时,他们开始转向对象存储(从公有云开始)。据Periasamy称,目前大多数分析引擎(Ssnowflake、Azure ML、Power BI、SageMaker、BitQuery等)都在使用对象存储。
Periasamy说,最近,这个数据库对象模型已经渗透到私有云中。就在那时,他注意到一些这样的引擎被放置在MinIO之上。他们第一次意识到这一点是因为银行客户。他说:“最让我吃惊的是,交易型数据库开始深入到对象存储的内部。”
通过提升对象存储表的性能,MinIO很有希望不断积累用户,因为越来越多的企业为其数据集采用对象存储模型。Minio服务器、客户端和软件开发在Apache许可下提供,可以免费下载。