[hadoop] HDFS组成架构及其作用

1)NameNode:就是Master,它是一个主管,管理者
1 管理HDFS的目录结构;
2 配置副本策略
3 管理数据块(Block)映射信息
4 处理客户端读写请求

2)DataNode:就是Slave,NameNode下达命令,DataNode执行实际的操作
1 存储实际的数据块
2 执行数据块的读/写操作.

3)Client:就是客户端
1 文件切分.文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行上传.
2 与NameNode交互,获取文件的位置信息.
3 与DataNode交互,读取或者写入数据.
4 Client提供一些命令来管理HDFS,比如NameNode格式化
5 Client可以通过一些命令来访问HDFS,比如对HDFS增删操作.

4)Secondary NameNode(已弃用): Hadoop1.X的组件,并非NameNode的热备.当NameNode挂掉的时候它并不能马上替换NameNode并提供服务
1 辅助NameNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode;
2 在紧急情况下,可辅助恢复NameNode