HDFS架构的基本认知

版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～
https://blog.csdn.net/xiaoduan_/article/details/79687600

HDFS架构的基本认知

• 1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN)
  HDFS/YARN/HBase也都是采用这种方式

• 1个文件会被拆分成多个Block
  blocksize：128M 可以自设置CDH默认是128M
  130M ==> 2个Block： 128M 和 2M

• NN：
  1）负责客户端请求的响应
  2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理

• DN：
  1）存储用户的文件对应的数据块(Block)
  2）要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况

引用Hadoop官网

A typical deployment has a dedicated machine that runs only the NameNode software.
Each of the other machines in the cluster runs one instance of the DataNode software.
The architecture does not preclude running multiple DataNodes on the same machine
but in a real deployment that is rarely the case.
一个典型的架构就是
一个NameNode + N个DataNode
建议：NN和DN是部署在不同的节点上

• replication factor：副本系数、副本因子

All blocks in a file except the last block are the same size
除了最后一个block 其他的block大小都是一样的