Yarn设计机制和使用方式

Yarn作为分布式程序的调度平台,包括Resource Manager和Node Manager两大核心角色。Resource Manager负责分配资源并监控Node Manager,而Node Manager管理本地资源并执行任务。本文介绍了Yarn的安装步骤,包括配置文件修改、集群启动以及从Windows提交job到Linux上的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Yarn是什么

yarn是一个分布式程序的运行调度平台

yarn中有两大核心角色:

1、Resource Manager
接受用户提交的分布式计算程序,并为其划分资源(调度者)
管理、监控各个Node Manager上的资源情况,以便于均衡负载

Resource Manager最好不要放在namenode上面,因为resource不需要读取数据,resource manager非常重要所以需要单独放在一个机器上面。

2、Node Manager
管理它所在机器的运算资源(cpu + 内存)
负责接受Resource Manager分配的任务,创建容器、回收资源
根据分配的任务对于资源的要求来划分出合适大小的容器提供给job运行。客户端会将需要执行的程序jar包发送到node mananger里面,接收到客户端的指令之后,可以根据指令调度jar包中的相关程序。

Node Manager最好和data node安装在一个机器上,如果当前的Node Manager所请求的内容是在本机的DataNode上面就会提升效率。

Yarn的安装

  1. 修改配置文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp20-01</value>
</property>


<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
  1. scp这个yarn-site.xml到其他节点
  2. 启动yarn集群:start-yarn.sh 该命令应该在resource manager所在的机器上执行,因为该脚本不会读取内部设置好的resource manager启动位置,所以只会在启动这个脚本的机器上面启动resource manager。但是node manager的启动会看slave.xml里面的配置。
  3. 用jps检查yarn的进程,用web浏览器查看yarn的web控制台
    http://hdp20-01:8088

Yarn提交一个job的使用方法(windows提交到Linux上)

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 用于提交mapreduce job的客户端程序
 * 功能:
 *   1、封装本次job运行时所需要的必要参数
 *   2、跟yarn进行交互,将mapreduce程序成功的启动、运行
 * @author ThinkPad
 *
 */
public class JobSubmitter {
	
	public static void main(String[] args) throws Exception {
		
		// 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份
		System.setProperty("HADOOP_USER_NAME", "root");
		
		
		Configuration conf = new Configuration();
		// 1、设置job运行时要访问的默认文件系统
		conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
		// 2、设置job提交到哪去运行
		conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "hdp-01");
		// 3、如果要从windows系统上运行这个job提交客户端程序,则需要加这个跨平台提交的参数
		conf.set("mapreduce.app-submission.cross-platform","true");
		
		Job job = Job.getInstance(conf);
		
		// 1、封装参数:jar包所在的位置
		job.setJar("d:/wc.jar");
		//job.setJarByClass(JobSubmitter.class);
		
		// 2、封装参数: 本次job所要调用的Mapper实现类、Reducer实现类
		job.setMapperClass(WordcountMapper.class);
		job.setReducerClass(WordcountReducer.class);
		
		// 3、封装参数:本次job的Mapper实现类、Reducer实现类产生的结果数据的key、value类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		
		
		Path output = new Path("/wordcount/output");
		FileSystem fs = FileSystem.get(new URI("hdfs://hdp-01:9000"),conf,"root");
		if(fs.exists(output)){ //如果已经存在目录就删除掉
			fs.delete(output, true);
		}
		
		// 4、封装参数:本次job要处理的输入数据集所在路径、最终结果的输出路径
		FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));
		FileOutputFormat.setOutputPath(job, output);  // 注意:输出路径必须不存在
		
		
		// 5、封装参数:想要启动的reduce task的数量
		job.setNumReduceTasks(2);
		
		// 6、提交job给yarn
		boolean res = job.waitForCompletion(true);
		
		System.exit(res?0:-1);
		
	}
	
	

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值