随着企业对数据湖的需求增加，Hadoop在处理大量数据时表现出色，但在小文件存储方面存在局限。对象存储成为了解决方案，如阿里云OSS，提供高持久性和可用性。开源对象存储如MinIO、Ceph提供了自建存储的可能，特别是MinIO因其轻量和易用性受到青睐。这些替代方案为企业提供了更多的数据存储灵活性和控制权。
过去的相当长的一段时间里，商用对象存储占据了市场上的大量的份额。国外的Amazon S3，国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖（包括结构化和非结构化数据）已经成为了越来越多公司的目标。那么Hadoop还能满足我们的要求吗？还是我们需要更多的选择？
存储方案
如图所示，底层存储大体可以分为四类。对象存储（Object Storage），NoSQL 数据库（NoSQL Sources），关系型数据库（RDBMS Storage），大数据（Hadoop）。
对于大量的数据存储与归档，毫无疑问Hadoop是一个不错的选择。但是Hadoop是为大文件存储而设计的，在小文件存储中有着非常大的劣势。
HDFS缺陷
元数据的扩展性：NameNode是一个中央元数据服务节点，也是集群管理节点，文件系统的元数据以及块位置关系全部在内存中。NameNode对内存的要求非常高，需要定制大内存的机器，内存大小也限制了集群扩展性。
全局锁：NameNode 有一把FSNamesystem全局锁，每个元数据请求时都会加这把锁。虽然是读写分开的，且有部分流程对该锁的持有范围进行了优化，但依然大问题。
块汇报风暴：HDFS块大小默认128M&#
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
