Yarn是什么
yarn是一个分布式程序的运行调度平台
yarn中有两大核心角色:
1、Resource Manager
接受用户提交的分布式计算程序,并为其划分资源(调度者)
管理、监控各个Node Manager上的资源情况,以便于均衡负载
Resource Manager最好不要放在namenode上面,因为resource不需要读取数据,resource manager非常重要所以需要单独放在一个机器上面。
2、Node Manager
管理它所在机器的运算资源(cpu + 内存)
负责接受Resource Manager分配的任务,创建容器、回收资源
根据分配的任务对于资源的要求来划分出合适大小的容器提供给job运行。客户端会将需要执行的程序jar包发送到node mananger里面,接收到客户端的指令之后,可以根据指令调度jar包中的相关程序。
Node Manager最好和data node安装在一个机器上,如果当前的Node Manager所请求的内容是在本机的DataNode上面就会提升效率。
Yarn的安装
- 修改配置文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp20-01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
- scp这个yarn-site.xml到其他节点
- 启动yarn集群:start-yarn.sh 该命令应该在resource manager所在的机器上执行,因为该脚本不会读取内部设置好的resource manager启动位置,所以只会在启动这个脚本的机器上面启动resource manager。但是node manager的启动会看slave.xml里面的配置。
- 用jps检查yarn的进程,用web浏览器查看yarn的web控制台
http://hdp20-01:8088
Yarn提交一个job的使用方法(windows提交到Linux上)
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/**
* 用于提交mapreduce job的客户端程序
* 功能:
* 1、封装本次job运行时所需要的必要参数
* 2、跟yarn进行交互,将mapreduce程序成功的启动、运行
* @author ThinkPad
*
*/
public class JobSubmitter {
public static void main(String[] args) throws Exception {
// 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份
System.setProperty("HADOOP_USER_NAME", "root");
Configuration conf = new Configuration();
// 1、设置job运行时要访问的默认文件系统
conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
// 2、设置job提交到哪去运行
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.hostname", "hdp-01");
// 3、如果要从windows系统上运行这个job提交客户端程序,则需要加这个跨平台提交的参数
conf.set("mapreduce.app-submission.cross-platform","true");
Job job = Job.getInstance(conf);
// 1、封装参数:jar包所在的位置
job.setJar("d:/wc.jar");
//job.setJarByClass(JobSubmitter.class);
// 2、封装参数: 本次job所要调用的Mapper实现类、Reducer实现类
job.setMapperClass(WordcountMapper.class);
job.setReducerClass(WordcountReducer.class);
// 3、封装参数:本次job的Mapper实现类、Reducer实现类产生的结果数据的key、value类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
Path output = new Path("/wordcount/output");
FileSystem fs = FileSystem.get(new URI("hdfs://hdp-01:9000"),conf,"root");
if(fs.exists(output)){ //如果已经存在目录就删除掉
fs.delete(output, true);
}
// 4、封装参数:本次job要处理的输入数据集所在路径、最终结果的输出路径
FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));
FileOutputFormat.setOutputPath(job, output); // 注意:输出路径必须不存在
// 5、封装参数:想要启动的reduce task的数量
job.setNumReduceTasks(2);
// 6、提交job给yarn
boolean res = job.waitForCompletion(true);
System.exit(res?0:-1);
}
}
Yarn作为分布式程序的调度平台,包括Resource Manager和Node Manager两大核心角色。Resource Manager负责分配资源并监控Node Manager,而Node Manager管理本地资源并执行任务。本文介绍了Yarn的安装步骤,包括配置文件修改、集群启动以及从Windows提交job到Linux上的方法。

被折叠的 条评论
为什么被折叠?



