超级会员免费看
HDFS，全称Hadoop Distributed File System，是Google GFS的开源实现，用于海量数据存储。其设计目标包括运行在廉价硬件上、提供容错机制、流式数据访问和大规模数据集存储。HDFS的优点包括支持海量存储、高容错性和高可用性，缺点则在于低延迟访问、小文件存储和不支持并发写入及文件随机修改。适用场景主要是大数据的离线批处理。
分布式文件系统HDFS
HDFS简介
什么是HDFS？
HDFS全称Hadoop Distributed File System，Hadoop分布式文件系统。它是2003年10月Google发表的GFS（Google File System）论文的开源实现，之后成为Apache Hadoop的核心子项目，用于解决海量数据存储问题。它在开源大数据技术体系中，地位无可替代，到现在为止，依然是主流的大数据存储选型。
设计目标
HDFS的设计目标有：
- 可以运行在大量廉价商用机器上；因此硬件错误是常态，所以HDFS提供容错机制，来保证集群的安全性与数据的可靠性。
- 简单一致性模型：一次写入多次读取，支持追加，不允许修改，保证数据一致性。因为HDFS在数据存储时，会使用多副本机制保证数据的安全性；如果开放修改功能，首先会导致随机修改的出现，这在海量数据的分布式场景下无异是灾难，其次因为多副
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
