hadoop主要有两个系统组成。文件存储系统,资源调度系统。
文件存储系统HDFS:namenode 主节点 主要用于维护元数据信息。
secondaryNamenode 辅助namenode 管理元数据信息。
datanode 存储各种各样的数据。
资源调度系统 yarn平台
resourceManager 主要两个作用,接受用户的计算任务请求,分配资源。
nodeManager 主要用于接受applicationMaster分配的任务
applicationMaster resourceManager 为每一个applicationMaster为每一个计算任务启动一个appliacationMaster,applicationMaster主要负责资源的申请,任务的分配。
1如果高可用的情况下 有点小变化。HDFS系统没有secondaryNamenode,会有一个journalnode来取代其功能。主要用来同步元数据信息,保证两个namenode元数据信息是一致的。并且journalnode需要奇数个,半数以上的journalNode写入元数据成功,就代表写入成功。
2 nameNode active状态:主要负责用户的写请求
nameNode standBy状态:主要负责瞄着active什么时候死了,赶紧上位
两个namenode组成主备的架构