hadoop网络拓扑及机架感知

网络拓扑及机架感知

 网络拓扑
	节点距离：两个节点到达共同父节点的距离和

机架感知 （ 副本节点的选择 ）
例如：500个节点，上传数据my.tar.gz,副本数为3，
根据机架感知，副本数据存储节点的选择。

   BlockPlacementPolicyDefault 
   官方注释
   the 1st replica is placed on the local machine, 
   otherwise a random datanode. The 2nd replica is placed on a datanode
   that is on a different rack. The 3rd replica is placed on a datanode
   which is on a different node of the rack as the second replica.

Block
HDFS中的文件在物理上是分块存储的，即分成Block；
block在Hadoop不同版本大小不同：
Hadoop1.x：64M
Hadoop2.x：128M

Pipeline，中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。
客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点。

为什么datanode之间采用pipeline线性传输，而不是一次给三个datanode拓扑式传输呢?
因为数据以管道的方式，顺序的沿着一个方向传输，这样能够充分利用每个机器的带宽，避免网络瓶颈和高延迟时的连接，最小化推送所有数据的延时。

ACK (Acknowledge character )即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误。


Packet
Packet是Client端向Datanode，或者DataNode的PipLine之间传输数据的基本单位，默认64kB.
Chunk
Chunk是最小的Hadoop中最小的单位，是Client向DataNode或DataNode的PipLne之间进行数据校验的基本单位，默认512Byte,因为用作校验(自己校验自己)，故每个chunk需要带有4Byte的校验位。
所以世纪每个chunk写入packet的大小为516Byte，真实数据与校验值数据的比值为128:1。