HDFS
1)Client:客户端
2)NameNode:名称节点,也称主节点,存储数据的元数据信息,不存储具体 的数据
3)DataNode:数据节点,也称从节点。NameNode 下达命令,DataNode 执行实 际的操作
4)Secondary NameNode:并非 NameNode 的热备。当 NameNode 挂掉的时候, 它并不能马上替换 NameNode 并提供服务
5)NameNode HA :NameNode 的高可用
6)MR:MapReduce
7)shuffle阶段:shuffle 分为四个步骤:依次为:分区,排序,规约,分组
Yarn:
8)ResourceManager:全局的资源管理器,负责整个系统的资源管理和分配。
由两个 部分组成:调度器(Scheduler)和应用程序管理器(Application Manager)
9)ApplicationMaster:用户提交的一个应用程序会对应于一个 ApplicationMaster
10)NodeManager: 是每个节点上的资源和任务管理器
11)Container :是 YARN 中的资源抽象,封装了各种资源。
12)FIFO Scheduler:(先来先服务)这是一个先进先出队列
13)Capacity Scheduler:(能力调度器)有一个专门的队列用来运行小任务
14)Fair Scheduler:(公平调度器)我们不需要预先占用一定的系统资源,Fair 调度器会为所有运行的 job 动态的调整系统资源。