彷徨 | MapReduce客户端各种提交方式参数的配置(windows->local,windows->yarn,Linux->locall,Linux->yarn)

最新推荐文章于 2022-11-29 11:28:28 发布
最新推荐文章于 2022-11-29 11:28:28 发布
阅读量645 收藏 1
点赞数
分类专栏： 大数据 文章标签： MapReduce提交 MapReduce Local Yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35353187/article/details/81987123
版权

MR程序的两种运行模式

分布式运行模式：必须在yarn平台上

核心特点：

整个运行流程由MRAppMaster控制；

每一个task（maptask，reducetask）以及MRAppMaster，都是以独立的进程在nodemanager所提供的容器中执行；

本地运行模式：在本地以单进程多线程方式运行；

核心特点：

整个运行流程由LocalJobRunner控制，每一个task（maptask、reducetask）都以线程方式执行

决定mr程序是以分布式还是以本地模型运行的关键点：

jobclient端的参数：  mapreduce.framework.name= local ? yarn ?

参数可以在jobclient的代码中设置conf.set()；

也可以在jobclient所运行的机器的hadoop配置文件(mapred-site.xml)中配置；

注意：如果以分布式模式运行mr，则你所访问的文件系统一定要是HDFS!!!（参数： fs.defaultFS = hdfs://....）

如果以本地模式运行mr，则你所访问的文件系统可以是HDFS，也可以是本地文件系统；

由此可见 , 提交方式自然就有四种

1.Windows提交到local

2.Windows提交到yarn

3.Linux提交到local

4.Linux提交到yarn

下面分别为四种提交方式的客户端配置参数

1.Windows提交到local

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * job客户端，跟mr程序本身没有任何逻辑关系
 * 它只是负责把mr程序所在的jar包等信息提交给yarn去运行
 * 它和mr程序之间的关系，就像： 运载火箭  和 卫星 的关系
 * @author hunter.d
 * @create_time 2018年4月11日
 * @copyright www.edu360.cn
 */
public class JobClient_windows_local {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration(); // 加载classpath中的hadoop配置文件
		// job api对象，在提交mrjob去运行时，有两种提交目的地选择：1.本地模拟器  2.yarn
		Job job = Job.getInstance(conf);
		
		// 封装本mr程序相关到信息到job对象中
		//job.setJar("d:/wc.jar");
		job.setJarByClass(JobClient_windows_local.class);
		
		// 指定mapreduce程序用jar包中的哪个类作为Mapper逻辑类
		job.setMapperClass(WordcountMapper.class);
		// 指定mapreduce程序用jar包中的哪个类作为Reducer逻辑类
		job.setReducerClass(WordcountReducer.class);
		// 指定maptask做局部聚合时的逻辑类
		//job.setCombinerClass(WordcountCombiner.class);
		job.setCombinerClass(WordcountReducer.class);
		
		// 告诉mapreduce程序，我们的map逻辑输出的KEY.VALUE的类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的reduce逻辑输出的KEY.VALUE的类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的原始文件在哪里
		FileInputFormat.setInputPaths(job, new Path("d:/wordcount/input/"));
		// 告诉mapreduce程序，结果数据往哪里写
		FileOutputFormat.setOutputPath(job, new Path("d:/wordcount/output2/"));
		
		// 设置reduce task的运行实例数
		job.setNumReduceTasks(2); // 默认是1
		
		// 调用job对象的方法来提交任务
		//job.submit();
		boolean res = job.waitForCompletion(true);  // 阻塞方法
		System.exit(res?0:1);
		
	}

}

2.Windows提交到yarn

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * job客户端，跟mr程序本身没有任何逻辑关系
 * 它只是负责把mr程序所在的jar包等信息提交给yarn去运行
 * 它和mr程序之间的关系，就像： 运载火箭  和 卫星 的关系
 * @author hunter.d
 * @create_time 2018年4月11日
 * @copyright www.edu360.cn
 */
public class JobClient_windows_yarn {
	public static void main(String[] args) throws Exception {
		
		System.setProperty("HADOOP_USER_NAME", "root");
		
		Configuration conf = new Configuration(); // 加载classpath中的hadoop配置文件
		// job api对象，在提交mrjob去运行时，有两种提交目的地选择：1.本地模拟器  2.yarn
		conf.set("mapreduce.framework.name", "yarn");  //  mapred-site.xml
		conf.set("fs.defaultFS", "hdfs://cts01:9000");  // core-site.xml
		conf.set("yarn.resourcemanager.hostname", "cts01");
		conf.set("mapreduce.app-submission.cross-platform", "true");  //跨平台提交；从windows上运行客户端提交mr job到linux服务器（yarn）
		Job job = Job.getInstance(conf);
		
		// 封装本mr程序相关到信息到job对象中
		job.setJar("d:/wc.jar");
		//job.setJarByClass(JobClient.class);
		
		// 指定mapreduce程序用jar包中的哪个类作为Mapper逻辑类
		job.setMapperClass(WordcountMapper.class);
		// 指定mapreduce程序用jar包中的哪个类作为Reducer逻辑类
		job.setReducerClass(WordcountReducer.class);
		
		// 告诉mapreduce程序，我们的map逻辑输出的KEY.VALUE的类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的reduce逻辑输出的KEY.VALUE的类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的原始文件在哪里
		FileInputFormat.setInputPaths(job, new Path("/wordcount/input/"));
		// 告诉mapreduce程序，结果数据往哪里写
		FileOutputFormat.setOutputPath(job, new Path("/wordcount/output2/"));
		
		// 设置reduce task的运行实例数
		job.setNumReduceTasks(2); // 默认是1
		
		// 调用job对象的方法来提交任务
		//job.submit();
		boolean res = job.waitForCompletion(true);  // 阻塞方法
		System.exit(res?0:1);
		
	}

}

3.Linux提交到local

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * job客户端，跟mr程序本身没有任何逻辑关系
 * 它只是负责把mr程序所在的jar包等信息提交给yarn去运行
 * 它和mr程序之间的关系，就像： 运载火箭  和 卫星 的关系
 * @author hunter.d
 * @create_time 2018年4月11日
 * @copyright www.edu360.cn
 */
public class JobClient_linux_local {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration(); // 加载classpath中的hadoop配置文件
		// job api对象，在提交mrjob去运行时，有两种提交目的地选择：1.本地模拟器  2.yarn
		Job job = Job.getInstance(conf);
		
		// 封装本mr程序相关到信息到job对象中
		//job.setJar("d:/wc.jar");
		job.setJarByClass(JobClient_linux_local.class);
		
		// 指定mapreduce程序用jar包中的哪个类作为Mapper逻辑类
		job.setMapperClass(WordcountMapper.class);
		// 指定mapreduce程序用jar包中的哪个类作为Reducer逻辑类
		job.setReducerClass(WordcountReducer.class);
		
		// 告诉mapreduce程序，我们的map逻辑输出的KEY.VALUE的类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的reduce逻辑输出的KEY.VALUE的类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的原始文件在哪里
		FileInputFormat.setInputPaths(job, new Path("/root/wordcount/input/"));
		// 告诉mapreduce程序，结果数据往哪里写
		FileOutputFormat.setOutputPath(job, new Path("/root/wordcount/output2/"));
		
		// 设置reduce task的运行实例数
		job.setNumReduceTasks(2); // 默认是1
		
		// 调用job对象的方法来提交任务
		//job.submit();
		boolean res = job.waitForCompletion(true);  // 阻塞方法
		System.exit(res?0:1);
		
	}

}

4.Linux提交到yarn

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * job客户端，跟mr程序本身没有任何逻辑关系
 * 它只是负责把mr程序所在的jar包等信息提交给yarn去运行
 * 它和mr程序之间的关系，就像： 运载火箭  和 卫星 的关系
 * @author hunter.d
 * @create_time 2018年4月11日
 * @copyright www.edu360.cn
 */
public class JobClient_linux_yarn {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration(); // 加载classpath中的hadoop配置文件
		// job api对象，在提交mrjob去运行时，有两种提交目的地选择：1.本地模拟器  2.yarn
		conf.set("mapreduce.framework.name", "yarn");  //  mapred-site.xml
		conf.set("fs.defaultFS", "hdfs://cts01:9000");  // core-site.xml
		Job job = Job.getInstance(conf);
		
		// 封装本mr程序相关到信息到job对象中
		//job.setJar("d:/wc.jar");
		job.setJarByClass(JobClient_linux_yarn.class);
		
		// 指定mapreduce程序用jar包中的哪个类作为Mapper逻辑类
		job.setMapperClass(WordcountMapper.class);
		// 指定mapreduce程序用jar包中的哪个类作为Reducer逻辑类
		job.setReducerClass(WordcountReducer.class);
		
		// 告诉mapreduce程序，我们的map逻辑输出的KEY.VALUE的类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的reduce逻辑输出的KEY.VALUE的类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		// 告诉mapreduce程序，我们的原始文件在哪里
		FileInputFormat.setInputPaths(job, new Path("/wordcount/input/"));
		// 告诉mapreduce程序，结果数据往哪里写
		FileOutputFormat.setOutputPath(job, new Path("/wordcount/output2/"));
		
		// 设置reduce task的运行实例数
		job.setNumReduceTasks(2); // 默认是1
		
		// 调用job对象的方法来提交任务
		//job.submit();
		boolean res = job.waitForCompletion(true);  // 阻塞方法
		System.exit(res?0:1);
		
	}

}

maptask和reducetask所申请的资源配额：

mapreduce.map.memory.mb

1024

一个maptask所需要的分配内存

mapreduce.map.cpu.vcores

1

一个maptask所需要的vcore

mapreduce.reduce.memory.mb

1024

一个reducetask所需要的内存

mapreduce.reduce.cpu.vcores

1

一个reducetask所需要的vcore

MRAppMaster所申请的资源配额：

yarn.app.mapreduce.am.resource.mb

1536

默认1.5G

yarn.app.mapreduce.am.resource.cpu-vcores

1

默认1核

俊杰梓
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce---＞实现简单的数据清洗需要的数据文件
11-20
MapReduce---＞实现简单的数据清洗需要的数据文件
map-reduce 优化
weixin_33736048的博客
09-14 163
map阶段优化 参数：io.sort.mb（default 100） 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。 而是会利用到了内存buffer来进行已经产生的部分结果的缓存， 并在内存buffer中进行一些预排序来优化整个map的性能。 每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入到该buffer中， ...
关于mapreduce的参数（学习笔记）
weixin_69402201的博客
05-05 766
一、mr、yarn分配资源的配置参数 1.mapred-default.xml中配置即可生效 配置参数 参数说明 mapreduce.map.memory.mb MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb ReduceTask可使用的资源上限（单位:MB）
MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境
什么最重要？算法！！
07-05 5332
继上一篇博客—-Hadoop本地运行模式深入理解，本篇文章将详细介绍在基于Windows与Linux两种开发环境下，MapReduce程序的3种集群运行方式。在通篇文章中，仍然以经典的WordCount程序为例进行说明，以提高文章的易读性，下面进入文章的正题。 (1)MapReduce程序的集群运行模式1—将工程打成jar包，上传到服务器，然后用hadoop命令hadoop jar xxx.
MapReduce工作原理图文详解
逸情公子
04-05 5273
                                            MapReduce工作原理图文详解 前言： 前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下，我们云计算团队重振旗鼓了，希望大伙仍高举“云在手，跟我走”的口号战斗...
大数据讲课笔记5.4 MapReduce运行模式
howard2005的专栏
10-09 672
1. 了解MapReduce运行模式； 2. 理解MapReduce性能优化策略
InformationInteraction:信息交互MapReduce库-HBase + YARN（实施环境）
05-30
信息交互信息交互MapReduce库-HBase + YARN（实施环境）
eclipse-linux软件包-包含mapreduce的jar包
06-06
eclipse软件包-包含mapreduce的jar包
华为练习jar包mapreduce-examples-mrs-2.0
11-18
mapreduce-examples-mrs-2.0
purescript-ifrit：用于数据聚合SQL-> NoSQL编译器
02-03
伊夫里特 总览 什么为什么 ？ Ifrit是从SQL到NoSQL的编译器，用于数据聚合。 NoSQL数据库擅长于对结构化，非结构化和多态数据进行建模，并且在涉及数据聚合时通常会提供基于Map-Reduce的强大API。...
让mapreduce任务在远程集群上运行
Sweeneyzuo的博客
10-23 1128
一、编写好map和reduce方法。 二、下载集群上的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个文件并放到src根目录下。 三、编写驱动程序，然后在获取Job对象之前，添加以下代码： conf.set("mapreduce.app-submission.cross-platform", "true"); 也可以在...
彷徨 | MapReduce各种执行(Linux执行,eclipse执行)与读取和存储(从HDFS读取以及从本地读取)
彷徨的博客
08-22 870
1 . 读取HDFS中的文件 , 利用Linux平台MapReduce框架执行 , 结果写入 HDFS中 . map package hadoop_day05.zhang.firstMR; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Lon...
MapReduce作业执行流程
笨小孩和聪明小孩有什么区别
04-13 493
MapReduce作业执行流程 0 准备阶段 0.1 回顾hadoop配置文件mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> ...
Hadoop之MapReduce的两种任务模式
iteye_14970的博客
08-16 432
MapReduce按照任务大小和设置的不同，提供了两种任务模式： 客户端通过org.apache.hadoop.mapreduce.protocol.ClientProtocol与服务端通信，ClientProtocol的继承关系： 老一些的版本还有一个JobTracker的实现类，即：classic。用于和MapReduce1.X兼容用的，高一些的版本已经没有这个实现类了。 一，本...
大数据项目3
m0_52106226的博客
01-20 378
GMV 今天提交订单的金额总和,不管是否支付 全站PV 页面浏览量大砍一次就是一个pv再刷新一次又是一个pv 全站UV 去重的访客总和 set mapreduce.framework.name=local;本地 set mapreduce.framework.name=yarn; yarn set hive.vectorized.execution.enabled=true ; //开启 s
大数据 MapReduce使用
Notzuonotdied的博客
09-25 399
前言
MapReduce环形缓冲区MapOutputBuffer，kvBuffer分析
KeePromise的博客
12-04 1256
MapReduce环形缓冲区MapOutputBuffer，kvBuffer分析 环形缓冲区相关类和属性说明 MapTask$MapOutputBuffer 默认的环形缓冲区类，可以通过job配置文件的参数mapreduce.job.map.output.collector.class进行设置。 sorter 默认的排序类，可以通过job配置文件参数map.sort.class进行设置，此类必须是IndexedSorter类的子类。 combinerRunner combiner操作类，可以通过job配置文
MapReduce分布式计算框架：MapReduce运行模式是什么?
Blue92120的博客
11-29 917
在文件4-6中，往Configuration对象中添加“mapreduce.framework.name=local”参数，表示程序为本地运行模式，实际上在hadoop-mapreduce-client-core-2.7.4.jar包下面的mapred-default.xml配置文件中，默认指定使用本地运行模式，因此mapreduce.framework.name=local配置也可以省略;(1)本地运行模式：在当前的开发环境模拟MapReduce执行环境，处理的数据及输出结果在本地操作系统。
MapReduce——客户端提交任务源码分析
qq634506153的专栏
06-09 145
MR程序并不会在客户端执行任何的计算操作，它是为计算工作做好准备，例如计算出切片信息，直接影响到Map任务的并行度。 在Driver中提交任务时，会写到这样的语句： boolean result = job.waitForCompletion(true); 进入到waitForCompletion中： public boolean waitForCompletion(boolean verbose) throws IOException, InterruptedException, Cla
配置ｙａｒｎ－ｓｉｔｅ．ｘｍｌ
最新发布
05-24
yarn-site.xml 是 Hadoop YARN 的配置文件，它位于 $HADOOP_HOME/etc/hadoop 目录下。下面是一个基本的 yarn-site.xml 配置文件示例： ``` xml <configuration> <property> <name>yarn.resourcemanager.hostname...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值