一、Hadoop各节点的作用
参考https://blog.csdn.net/gamer_gyt/article/details/51758881
1.Namenode
参考:https://blog.csdn.net/lb812913059/article/details/78713634
负责文件元数据的管理操作以及处理客户端请求。
2.Datanode
在Hadoop文件系统中存储数据的地方,以及响应namenode的请求。
3.SecondaryNamenode
参考:https://www.cnblogs.com/smartloli/p/4342340.html
首先我们要认识两个文件:
fsimage:它是namenode启动时对整个文件系统的快照
edits:它是namenode启动后,对文件系统的改动序列
secondaryname主要的职责是定时查询namenode的edits改动文件合并到fsimage,并将合并后的fsimage
文件拷贝到namenode中。所以它只是namenode的助手节点,既不是namenode的备份,也不能替代namenode。
4.ResourceManager
参考:https://blog.csdn.net/alinma/article/details/53423962
ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的汇报信息,
并把这些信息按照一定的策略分配给各个应用程序。
5.NodeManager
NM是ResourceManager在每台机器上的代理,负责容器管理,并监控它们的资源使用情况,以及向ResourceManager/Scheduler
提供资源使用报告。
二、Hadoop文件上传过程
三、Hadoop文件下载过程