HDFS组成架构

HDFS组成架构

NameNode:就是Master,管理者也叫DHFS的主服务器
1、管理HDFS的名称空间
2、配置副本
3、管理Block(数据块，一般一块是128M)的映射信息
4、处理客户端读写请求

DataNode:就是Slave namenode下达指令 datanode执行操作 1、储存实际信息
2、执行数据块的读写操作

Client：客户端
1、文件切分
2、与NameNode交互，获取文件位置
3、与DataNode交互，读取写入数据

Secondary NameNode: 紧急情况下可以辅助恢复NameNode

为什么块大小不能设置的太大也不能太小？
1、设置的太小会增加寻址时间
2、设置的太大从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致处理数据速度慢

总结：HDFS的块大小设置取决与磁盘的传输效率，机械磁盘在100M/s
固态硬盘在150-300M/s左右，如果硬盘是固态硬盘也可以将块大小设置为256M。