YARN和HDFS架构的对比
HDFS主从架构:
- 主角色(master):NameNode
- 从角色(Slave):DataNode
YARN主从架构:
- 主角色(master):ResourceManager 整个集群的资源调度者
- 从角色(Slave):NodeManager 单个服务器的资源调度者
YARN容器
nodemanager会提前分配资源并构建一个容器,程序运行在容器内且无法突破容器资源的限制。
YARN的辅助架构
- Web应用代理服务器:用来保障Web UI 访问的安全性
- 历史服务器:将容器中程序运行的日志统一收集到HDFS中,供用户在Web UI中查看日志信息