14个学习Hadoop必知必会的专业名词——不会不要说你是大数据专业的～

 HDFS

1）Client：客户端
2）NameNode：名称节点，也称主节点，存储数据的元数据信息，不存储具体 的数据
3）DataNode：数据节点，也称从节点。NameNode 下达命令，DataNode 执行实 际的操作
4）Secondary NameNode：并非 NameNode 的热备。当 NameNode 挂掉的时候， 它并不能马上替换 NameNode 并提供服务
5）NameNode HA ：NameNode 的高可用
6）MR：MapReduce
7）shuffle阶段：shuffle 分为四个步骤：依次为：分区，排序，规约，分组
Yarn：
8）ResourceManager：全局的资源管理器，负责整个系统的资源管理和分配。
由两个 部分组成：调度器（Scheduler）和应用程序管理器（Application Manager）
9）ApplicationMaster：用户提交的一个应用程序会对应于一个 ApplicationMaster
10）NodeManager： 是每个节点上的资源和任务管理器
11）Container ：是 YARN 中的资源抽象，封装了各种资源。
12）FIFO Scheduler：（先来先服务）这是一个先进先出队列
13）Capacity Scheduler：（能力调度器）有一个专门的队列用来运行小任务
14）Fair Scheduler：（公平调度器）我们不需要预先占用一定的系统资源，Fair 调度器会为所有运行的 job 动态的调整系统资源。