Hadoop笔记(6)_YARN
文章平均质量分 85
仅供参考
TryBest_
与bug奋战到底!又不懂的问题的可以私信我噢,有问必答!
展开
-
第4节、Yarn案例实操
注意:调整下列参数之前尽量拍摄Linux快照,否则后续的案例还需重写集群。一、Yarn生产环境核心参数配置案例1)需求:从 1G 数据中,统计每个单词出现次数。服务器 3 台,每台配置 4G 内存,4 核CPU,4 线程。2)需求分析:1G / 128m = 8 个 MapTask;1 个 ReduceTask;1 个 mrAppMaster平均每个节点运行 10 个 / 3 台 ≈ 3 个任务(4 3 3)3)修改 yarn-site.xml 配置参数如下:<!-- 选择调度器,默认原创 2021-12-30 18:29:15 · 1381 阅读 · 1 评论 -
第3节、Yarn的常用命令和生产环境核心参数(开发常用)
1、Yarn常用命令1.1、yarn application 查看任务(1)列出所有Application:格式:yarn application -list例如:(2)根据Application状态查询:yarn application -list -appStates <状态>(所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPPTED、RUNNING、FINISHED、FAILED、KILLED)例如:1.yarn application -l原创 2021-12-30 18:27:32 · 1264 阅读 · 0 评论 -
第2节、Yarn调度器和调度算法
目前,Hadoop作业调度器主要有三种,FIFO、Capacity Scheduler(容量调度器)和Fair Scheduler(公平调度器)。Hadoop3.1.4默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler具体设置在yarn-default.xml文件中:<property> <description>The class to use as the resource scheduler.</descr原创 2021-12-30 18:26:58 · 179 阅读 · 0 评论 -
第1节、Yarn 基础架构和工作机制
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序相当于运行于操作系统之上的应用程序。1.1 Yarn 基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaaster和Cintainer等组件构成1.2 Yarn 工作机制(1)MR程序提交到Client所在的节点(2)生成的YarnRunner(本地模式为LocalRunner)向ResourceManager申请一个原创 2021-12-30 18:26:36 · 629 阅读 · 0 评论