HDFS的副本机制和机架感知

1 HDFS 文件副本机制
所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中,作用如下
1. 一个文件有可能大于集群中任意一个磁盘，引入块机制,可以很好的解决这个问题
2. 使用块作为文件存储的逻辑单位可以简化存储子系统
3. 块非常适合用于数据备份进而提供数据容错能力
在 Hadoop1 当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block 块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml 当中的配置文件进行指定

2 机架感知
HDFS分布式文件系统的内部有一个副本存放策略：以默认的副本数=3为例：
1、客户端如果与datanode在同一台主机，第一个block副本会放到这个主机上
2、第二个副本块存放在跟本机同机架内的其他服务器节点
3、第三个副本块存不同机架的一个服务器节点上