2020年03月_BigMoM1573

09月 08月 07月 06月 05月 04月 03月 01月

原创 Yarn>知识点整理

文章目录1、什么是Yarn2、Yarn特点：3、Yarn的意义：4、Yarn基本组成5、Yarn提交任务的流程6、Yarn的调度方式7、参数yarn.scheduler.fair.allow-undeclared-pools的作用是？（true/false）8、参数yarn.scheduler.fair.user-as-default-queue的作用是？（true/false）9、介绍一下had...

2020-03-31 11:34:55 170

原创 Yarn>（yarn基本准备）搭建Hadoop的HA集群

1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等7.注意集群时间要同步集群部署节点角色的规划（7节点）------------------server01 namenode zkfcserver02 namenode zkfcserver03 resourc...

2020-03-31 11:00:37 117

原创 Yarn>NamenodeHA和Yarn HA (介绍)

文章目录1、Hadoop High Availability小结：2、Namenode HA1．Namenode HA详解2、Failover Controller3、Yarn HA1、Hadoop High AvailabilityHA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby...

2020-03-31 10:42:41 551

原创 Yarn> 调度器Scheduler

文章目录1、FIFO Scheduler2、Capacity Scheduler3、Fair SchedulerYarn的调度:小结4、示例：Capacity调度器配置使用5、yarn多租户资源隔离5.1、编辑yarn-site.xml5.2、添加配置文件fair-scheduler.xml5.3、同步数据到其他节点、重启yarn集群5.4、创建普通用户hadoop5.5、赋予hadoop用户权限...

2020-03-31 10:21:07 89

原创 Yarn>运行流程

Yarn运行流程1、client向RM提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。2、ResourceManager启动一个container用于运行ApplicationMaster。3、启动中的ApplicationMaster向Re...

2020-03-31 09:09:28 370

原创 Yarn>基本架构与三大组件介绍

文章目录1、Yarn通俗介绍2、Yarn基本架构3、Yarn三大组件介绍1．ResourceManager2．NodeManager3．ApplicationMaster1、Yarn通俗介绍Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应...

2020-03-31 08:53:06 2582