HDFS

HDFS的数据存储单元（block）

1、固定大小的数据块（1.x：64M，2.x：128M）

2、分成不同的数据块，存储到不同节点（默认备份3份）

3、副本数可以变更，副本数据大小不可变更

副本放置策略
1、放置在上传文件的DN上，集群外提交，随机挑选
2、与第一个副本不同的机架节点上
3、与第二个副本相同的机架节点上
4、更多副本随机放置在节点上

NameNode(NN)
1、接收客户端的读写服务
2、保存的metadate：

1. 文件的ownership和permissions
2. 文件包含哪些块
3. 用户对文件的操作信息
4. 数据库保存在哪个DataNode上

secondary NameNode（SNN）：
帮助NN合并edits log，减少NN启动时间
1、合并时机：3600S、edits：64M

secondary NameNode合并流程：