本文介绍了HDFS产生的背景，阐述了HDFS的概念，强调其在大数据处理中的优势，如高容错性和适合流式数据访问，同时也指出其不足，如不支持低延时访问和小文件存储。此外，详细解析了HDFS的组成架构，包括Client、NameNode、DataNode和Secondary NameNode的角色，并提到了文件块大小的设定和意义。
1.1 HDFS产生背景
随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
1.2 HDFS概念
HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。
1.3 HDFS优缺点
1.3.1 优点
1）高容错性
（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性；
（2）某一个副本丢失以后，它可以自动恢复。
2）适合大数据处理
（1）数据规模：能够处理数据规模达到GB、TB、甚至PB级别
最低0.47元/天 解锁文章
533
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
