HDFS详解二（架构设计、副本放置策略）

1.HDFS架构设计
架构图：

进程有三个：

namenode nn 名称节点
secondary namenode snn 第二名称节点
datanode dn 数据节点

1.1 HDFS 架构是主从架构
1.2 Rack : 机架 一个机架可以放多个主机，正常可以放10个，有些GPU主机放 5个主 机，GPU主机特别耗电。
比如上图中机架1号Rack1放3个主机，机架2号Rack2放2个主机。
这里是物理机架，后面还有虚拟机架，机架 不会让他发挥作用，default机架是CDH

NN: 名称节点
存储: 文件系统的命名空间
a.文件名称
b.文件目录结构
c.文件属性(权限 创建时间 副本数)
d.文件对应的哪些块(副本块)–>块对应在哪些DN节点上
不会持久化存储这个map映射关系，一般是集群启动和运行时，
dn定期的发送blockreport给nn，
那么nn就在内存中动态维护这种映射关系

主要作用: 管理文件系统的命名空间

DN: 数据节点
存储: 数据块和数据块校验和
与NN通信:
a.每隔3秒发送一个心跳包 dfs.heartbeat.interval 不动
b.每隔n秒发送一次blockreport 块报告
dfs.blockreport.intervalMsec 21600000ms=6小时
公众号有篇文章: hdfs 块损坏恢复

主要作用: 读写文件的数据块

SNN: 第