大数据&&Yarn&&入门教程

概述

Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序

特点

待补充：服务的突出特点

适用场景：

001

002

相关概念

YARN 调度器

Hadoop 作业调度器主要有三种：FIFO、容量、公平调度器。Hadoop 3.1.3 默认的资源调度器是容量调度器。
FIFO调度器

• 单队列，根据提交作业的先后顺序，先来先服务

容量调度器

• 是Yahoo开发的多用户调度器
• 多队列：每个队列可配置一定的资源量
• 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
• 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用和程序提交，则其他队列借调的资源会归还给该队列
• 多租户：支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定
• 分配算法
  • 队列资源分配：从root 开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
  • 作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
  • 容器资源分配：按照容器的优先级分配资源，如果优先级相同，按照数据本地性原则

公平调度器

• 是 Facebook 开发的多用户调度器
• 具有与容量调度器的相同特点
• 不同点为
  • 缺额：某一个时刻一个作业应获得资源和实际获取资源的差距叫“缺额”
  • 核心调度策略不同（容量调度器优先选择资源利用率低的队列；公平调度器优先选择对资源的缺额比例大的队列）
  • 每个队列可以单独设置资源分配方式（容量调度器：FIFO、DRF；公平调度器：FIFO、FAIR、DRF）

优缺比较

待补充：(自比较、同步类比较)

应用架构

• ResourceManager（RM）：整个集群资源（内存、CPU等）的管理者
• NodeManager（NM）：单个节点服务器的管理者
• ApplicationMaster（AM）：单个任务运行的负责人
• Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源（内存、CPU、磁盘、网络）
• 注意
  • 客户端可以有多个
  • 集群上可以运行多个 ApplicationMaster
  • 每个 NodeManager 上可以有多个 Container

工作原理、流程

部署应用

环境信息

安装xxx

待补充：基础的安装、配置/性能、启动

搭建集群

通用集群A

集群架构

环境信息

安装xxx

待补充：可用性、扩展性、性能、负载均衡

备份恢复

待补充：