Hadoop HDFS 常见问题【一】

冷雨夜下的星空

已于 2022-08-11 09:30:03 修改

阅读量875

点赞数

分类专栏： Hadoop生态圈文章标签： hadoop hdfs 大数据

于 2019-02-01 10:56:29 首次发布

本文链接：https://blog.csdn.net/dscfirst/article/details/86736925

版权

本文详细解答了HDFS不适合存储大量小文件的原因，阐述了HDFS离开安全模式的条件，介绍了ActiveNN与StandbyNN的切换机制。此外，还解析了HDFS的写文件流程、优缺点、元数据存储方式以及各角色的功能。重点讨论了最小文件存储单元Block的特性、放置策略和高可用性的实现。

摘要由CSDN通过智能技术生成

HDFS*****
1.HDFS为什么不适合存储大量小文件？
答：
（1）大小量文件的元数据会占用NameNode大量内存空间
解析：文件的元数据（包括文件被分成了哪些blocks，每个block存储在哪些服务器的哪个block块上），都是存储在namenode上的。
HDFS的每个文件、目录、数据块占用150B，因此300M内存情况下，只能存储不超过300M/150=2M个文件/目录/数据块的元数据。
（2）磁盘寻道时间超过读取时间
解析：HDFS为了使数据的传输速度和硬盘的传输速度接近，则设计将寻道时间（Seek）相对最小化，将block的大小设置的比较大，这样读写数据块的时间将远大于寻道时间，接近于硬盘的传输速度。

2.HDFS 何时离开安全模式？
答：ActiveNameNode启动时HDFS进入安全模式只读，datanode主动汇报可用block的可用情况
即上报率=可用block数量/namenode元数据记录的block数>=99.9%时离开安全模式
何时触发安全模式？
1.NameNode内存不够；2.DataNode无法启动；3.NameNode重启；4.block上报率低阈值；5.日至报错；6.强制关机

3.ActiveNN与standbyNN的切换？
答