HDFS主要负责数据的存储:主从架构 =》master + slave
master : NameNode
slave : DataNode
NameNode :
1.管理hdfs上的元数据
2.对外提供服务
3.映射块到DataNode上
DataNode :
1.每个节点都有的进程
2.负责数据块的存储
3.负责文件的读写
DataNode根据块的大小进行拆分,块大小 : 128m,块的副本数 :3个
文件上传到hdfs上存储 :
例 :170m的文件 =》拆分成 128 + 42 的两个块 (不考虑副本数)
实际存储 :510m(3副本)
生产实践 :hdfs block 丢失 \ 损坏 该如何恢复?
****块地址 ;/home/hadoop/app-data/dfs/data/current/BP-1820345481-192.168.170.21-1652596245135/current/finalized/subdir0/subdir0
自动恢复 :命令检查
1.hdfs fsck / (检查家目录下所有块)
手动恢复 :命令 :