设定ReducerTask个数

最新推荐文章于 2022-11-14 22:00:29 发布
最新推荐文章于 2022-11-14 22:00:29 发布
阅读量425 收藏
点赞数
分类专栏： hadoop 文章标签： MapReduce reducerTask
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43855370/article/details/101722283
版权

设定ReducerTask个数

设定ReducerTask个数，使用默认的HashPartitioner分区，对数据进行分区操作，提供给不同的Reducer处理

【在源码中将定义的ReducerTask数提交给Partitioner，因此是Reducer数决定了Partition分区数】

【Reducer输出从part-r-00000开始连续的】

1. 测试数据

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;

public class WriteRandom {
	public static void main(String[] args) throws IOException {
		BufferedWriter bw = new BufferedWriter(new FileWriter("D:/age/age.txt"));
		for(int i=0;i<30;i++) {
			Integer n = (int)(Math.random()*100+1);
			if(i == 0) {
				bw.write(n.toString());
			}
			else {
				bw.newLine();
				bw.write(n.toString());
			}
		}
		bw.close();
	}
}

9
32
65
24
52
84
83
38
58
4
65
45
38
20
24
38
69
67
12
65
69
77
71
60
95
43
31
28
36
74

2. 重写TextInputFormat类

package num;

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.JobContext;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class LineNumInputFormat extends FileInputFormat<LongWritable, Text> {
	@Override
	public RecordReader<LongWritable, Text> createRecordReader(InputSplit split, TaskAttemptContext context)
			throws IOException, InterruptedException {
		return new LineNumRecordReader();
	}
	@Override
	protected boolean isSplitable(JobContext context, Path filename) {
		return false;
	}
}
  1. 重写FileInputFormat类，继承于FileInputFormat实现一个LineNumInputFormat类，实现父类的RecordReader()和isSplitable()方法
  2. RecordReader()方法中返回一个自定义的LineNumRecordReader类
  3. isSplitable()方法中返回false，表示文件不可切分（如果可切分，会导致部分数据损坏）

3. 重写LineRecordReader【继承RecordReader类，实现RecordReader所有方法，参考LineRecordReader】

package num;

import java.io.IOException;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.util.LineReader;

public class LineNumRecordReader extends RecordReader<LongWritable, Text> {
	private long start;
	private long pos;
	private long end;
	private LineReader in;
	private FSDataInputStream fileIn;
	private LongWritable key;
	private Text value;
	
	@Override
	public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
		FileSplit _split = (FileSplit) split;
		Path file = _split.getPath();
		FileSystem fs = file.getFileSystem(context.getConfiguration());
		fileIn =fs.open(file);
		fileIn.seek(start);
		in = new LineReader(fileIn);
		start = _split.getStart();
		end = start + _split.getLength();
		pos = 1;
	}
	
	@Override
	public boolean nextKeyValue() throws IOException, InterruptedException {
		if(key == null) {
			key = new LongWritable();
		}
		key.set(pos);
		if(value ==null) {
			value = new Text();
		}
		if (in.readLine(value) == 0) {
			return false;
		}
		pos++;
	    return true;
	}
	
	@Override
	public LongWritable getCurrentKey() throws IOException, InterruptedException {
		return key;
	}
	
	@Override
	public Text getCurrentValue() throws IOException, InterruptedException {
		return value;
	}
	
	@Override
	public float getProgress() throws IOException, InterruptedException {
		return 0;
	}
	
	@Override
	public void close() throws IOException {
		in.close();
	}
}

4. Mapper类

package num_Reducers;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class NumMapper extends Mapper<LongWritable, Text, IntWritable, IntWritable> {
	IntWritable _flag_ji = new IntWritable(1);
	IntWritable _flag_ou = new IntWritable(0);
	IntWritable _age = new IntWritable();
	@Override
	protected void map(LongWritable key, Text value,
			Mapper<LongWritable, Text, IntWritable, IntWritable>.Context context)
			throws IOException, InterruptedException {
		_age.set(Integer.valueOf(value.toString()));
		if(key.get() % 2 == 1) {
			context.write(_flag_ji, _age);
		}
		else if(key.get() % 2 == 0) {
			context.write(_flag_ou, _age);
		}
	}
}
  1. 根据读入的行号，进行奇偶行的判断，奇数行内容与Text（奇数）结合输出，偶数行内容与Text（偶数）结合输出
1.4 Reducer类
package num_Reducers;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class NumReducer extends Reducer<IntWritable, IntWritable, IntWritable, Text> {
	Text _avg = new Text();
	@Override
	protected void reduce(IntWritable key, Iterable<IntWritable> values,
			Reducer<IntWritable, IntWritable, IntWritable, Text>.Context context) throws IOException, InterruptedException {
		int sum = 0;
		int n = 0;
		for (IntWritable value : values) {
			sum += value.get();
			n++;
		}
		if(key.get() == 0) {
			_avg.set("偶数行：" + (float) (sum/(n*1.0)));			
		}
		else {
			_avg.set("奇数行：" + (float) (sum/(n*1.0)));
		}
		context.write(key, _avg);
	}
}
  1. 处理就是遍历奇数行集合求和，记录奇数行个数，取平均值
  2. 遍历偶数行求和，记录偶数行个数，取平均值
  3. 写入输出
1.5 Driver类
package num_Reducers;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class NumDriver {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();
		conf.set("mapreduce.framework.name", "local");
		Path outPut = new Path("file:///D:/out");
		FileSystem fs = outPut.getFileSystem(conf);
		if(fs.exists(outPut)) {
			fs.delete(outPut, true);
		}
		Job job = Job.getInstance(conf);
		job.setJobName("age");
		job.setJarByClass(NumDriver.class);
		job.setMapperClass(NumMapper.class);
		job.setReducerClass(NumReducer.class);
		job.setMapOutputKeyClass(IntWritable.class);
		job.setMapOutputValueClass(IntWritable.class);
		job.setOutputValueClass(FloatWritable.class);
		job.setInputFormatClass(LineNumInputFormat.class);
		job.setNumReduceTasks(4);
		FileInputFormat.addInputPath(job, new Path("file:///D:/age"));
		FileOutputFormat.setOutputPath(job, outPut);
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}
  1. Mapper输入<LongWritable,Text>，输出<Text,IntWritable>，Reducer输入<Text,IntWritable>，输出<Text,FloatWritable>，因此不用设置Mapper的输出数据结构
  2. 指定输入的格式为自定义的LineNumInputFormat类
  3. 指定ReducerTasks个数为4，看业务数，确定有几个是有内容的

1.6 结果

part-r-00000

0 偶数行：46.6

part-r-00001

1 奇数行：51.8

part-r-00002

part-r-00003

【另外两个都是空】

不执行Reducer

不执行Reducer，处理数据，合并奇偶行数据为一行数据

1. 样例数据

123
abc
345
def
189
ghi
789
nmb

2. 预期结果

123 abc

345 def

189 ghi

789 nmb

3. 自定义InputFormat

package word;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.JobContext;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class WordNumInputFormat extends FileInputFormat<LongWritable, Text> {
	@Override
	public RecordReader<LongWritable, Text> 
		createRecordReader(InputSplit split, TaskAttemptContext context) {
			return new WordNumRecordReader();
	}

	@Override
	protected boolean isSplitable(JobContext context, Path file) {
		return false;
	}
}

4. 自定义RecordReader

package word;

import java.io.IOException;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.util.LineReader;

public class WordNumRecordReader extends RecordReader<LongWritable, Text> {
	private long start;
	private long pos;
	private long end;
	private LineReader in;
	private FSDataInputStream fileIn;
	private LongWritable key;
	private Text value;
	@Override
	public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
		FileSplit _split = (FileSplit) split;
		Path file = _split.getPath();
		FileSystem fs = file.getFileSystem(context.getConfiguration());
		fileIn =fs.open(file);
		fileIn.seek(start);
		in = new LineReader(fileIn);
		start = _split.getStart();
		end = start + _split.getLength();
		pos = 1;
	}
	@Override
	public boolean nextKeyValue() throws IOException, InterruptedException {
		if(key == null) {
			key = new LongWritable();
		}
		key.set(pos);
		if(value ==null) {
			value = new Text();
		}
		if (in.readLine(value) == 0) {
			return false;
		}
		pos++;
	    return true;
	}
	@Override
	public LongWritable getCurrentKey() throws IOException, InterruptedException {
		return key;
	}
	@Override
	public Text getCurrentValue() throws IOException, InterruptedException {
		return value;
	}
	@Override
	public float getProgress() throws IOException, InterruptedException {
		return 0;
	}
	@Override
	public void close() throws IOException {
		in.close();
	}
}

定义行号阅读器

5. Mapper

package word;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordMapper extends Mapper<LongWritable, Text, IntWritable, Text> {
	private static Text _cun = new Text();
	private static IntWritable _num = new IntWritable();
	@Override
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, IntWritable, Text>.Context context)
			throws IOException, InterruptedException {
		if(key.get()%2 == 0) {
			_cun = value;
			context.write(_num, _cun);
		}
		else {
			String line = value.toString();
			_num.set(Integer.parseInt(line));
		}
	}
}

通过读取奇偶行，将奇数行存储，和偶数行一起输出

6. Driver

package word;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordDriver {
	public static void main(String[] args) throws ClassNotFoundException, InterruptedException, IOException {
		Configuration conf = new Configuration();
		conf.set("mapreduce.framework.name", "local");
		Path outfile = new Path("file:///D:/out");
		FileSystem fs = outfile.getFileSystem(conf);
		if(fs.exists(outfile)){
			fs.delete(outfile,true);
		}
		Job job = Job.getInstance(conf);
		job.setJobName("word");
		job.setJarByClass(WordDriver.class);
		job.setMapperClass(WordMapper.class);
		job.setInputFormatClass(WordNumInputFormat.class);
		job.setNumReduceTasks(0);
		FileInputFormat.addInputPath(job, new Path("file:///D:/word"));
		FileOutputFormat.setOutputPath(job, outfile);
		System.exit(job.waitForCompletion(true)?0:1);
	}
}

不使用Reducer（进阶）

1. InputFormat

package word_plus;

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.JobContext;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class WordInputFormat extends FileInputFormat<Text, Text> {
	@Override
	public RecordReader<Text, Text> createRecordReader(InputSplit split, TaskAttemptContext context)
			throws IOException, InterruptedException {
		return new WordRecordReader();
	}
	
	@Override
	protected boolean isSplitable(JobContext context, Path filename) {
		return false;
	}
}

自定义InputFormat，指定输入的数据泛型为<Text, Text>

2. RecordReader

package word_plus;

import java.io.IOException;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.util.LineReader;

public class WordRecordReader extends RecordReader<Text, Text> {
	private long start;
	private long pos;
	private long end;
	private LineReader in;
	private FSDataInputStream fileIn;
	private Text key;
	private Text value;
	
	@Override
	public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
		FileSplit _split = (FileSplit) split;
		Path file = _split.getPath();
		FileSystem fs = file.getFileSystem(context.getConfiguration());
		fileIn = fs.open(file);
		fileIn.seek(start);
		in = new LineReader(fileIn);
		start = _split.getStart();
		end = start + _split.getLength();
		pos = 1;
	}
	
	@Override
	public boolean nextKeyValue() throws IOException, InterruptedException {
		if(key == null) {
			key = new Text();
		}
		if(value == null) {
			value = new Text();
		}
		in.readLine(key);
		if(in.readLine(value) == 0) {
			return false;
		}
		return true;
	}
	
	@Override
	public Text getCurrentKey() throws IOException, InterruptedException {
		return key;
	}
	
	@Override
	public Text getCurrentValue() throws IOException, InterruptedException {
		return value;
	}
	
	@Override
	public float getProgress() throws IOException, InterruptedException {
		return 0;
	}
	
	@Override
	public void close() throws IOException {
		in.close();
	}
}
  1. 自定义输入的RecordReader的数据泛型为<Text, Text>
  2. 使用in.readLine(key)和in.readLine(value)，调用两次in.readLine()，在一次InputFormat中读取两次，也就是读取两行记录，分别赋值给key和value

3. Mapper

package word_plus;

import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordMapper extends Mapper<Text, Text, Text, Text> {
	@Override
	protected void map(Text key, Text value, Mapper<Text, Text, Text, Text>.Context context)
			throws IOException, InterruptedException {
		context.write(key, value);
	}
}

Mapper中直接将key和value输出，就得到最终结果

2. Driver

package word_plus;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordDriver {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();
		conf.set("mapreduce.framework.name", "local");
		Path outfile = new Path("file:///D:/out");
		FileSystem fs = outfile.getFileSystem(conf);
		if(fs.exists(outfile)){
			fs.delete(outfile,true);
		}
		Job job = Job.getInstance(conf);
		job.setJobName("word");
		job.setJarByClass(WordDriver.class);
		job.setMapperClass(WordMapper.class);
		job.setInputFormatClass(WordInputFormat.class);
		job.setNumReduceTasks(0);
		FileInputFormat.addInputPath(job, new Path("file:///D:/word"));
		FileOutputFormat.setOutputPath(job, outfile);
		System.exit(job.waitForCompletion(true)?0:1);
	}
}
geekLinyi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce分区和reduceTask的数量
黄道婆的专栏
09-23 1358
MapReduce分区和reduceTask的数量 1.MapReduce分区：相同key的数据发送到同一个reduce里面去。 mapTask处理的是文件切片filesplit。 注意：block的概念是在hdfs当中的，mapreduce当中，每一个mapTask处理的数据都是叫做一个文件切片。 暂时可以简单地认为，一个文件切片就是对应一个block块。还可以简单地认为，有多少个block块，就要启动多少个mapTask。 2.分区规则： HashPartitioner的getPartition方法
reduce task 数量
shuhuai007的专栏
10-31 2132
Hadoop wiki(http://wiki.apache.org/hadoop/HowManyMapsAndReduces)对这个问题有较详细的解释，大致有以下几个观点： 增加task的数量，一方面增加了系统的开销，另一方面增加了负载平衡和减小了任务失败的代价；map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了
MapReduce的分区与ReduceTask的数量
11-14 8199
MapReduce的分区与ReduceTask的数量 在MapReduce中，通过指定分区，会将同一个分区的数据发送到同一个reduce中，例如为了数据的统计，可以把一批类似的数据发 送到同一个reduce当中去，在同一个reduce中统计相同类型的数据，就可以实现类似数据的分区，统计等 直观的说就是相同类型的数据，送到一起去处理，在reduce当中默认分区只有1个。 MapReduce当中的分区...
MapReduce笔记 —— 手动设置多个ReduceTask以及设置Combiner（两种方式运行MapReduce）
一纸春秋的博客
11-21 1925
目录手动设置多个ReduceTask在idea中启动MapReduce手动设置Combiner通过jar包在linux终端执行 手动设置多个ReduceTask 先来看只有一个ReduceTask时的词频统计的结果 当没有手动设置ReduceTask的数量时，默认只有一个reduceTask 数据为 package Demo.mr.WordCount; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWri
hadoop中map和reduce的数量设置问题
java的涟漪
08-13 1910
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交m
西门子840D数控系统的参数设定.pdf
03-11
西门子840D数控系统的参数设定是一个复杂的过程，需要对数据保护级别、数据有效的方式、参数的设定和调整等方面有深入的了解和掌握。只有通过正确的参数设定和调整，才能确保机床设备的正常运行和高效率的操作。
mazak 伺服刀库原点设定
07-06
mazak 伺服刀库原点设定主要包括两个步骤：一是使用 MR-J2 软件恢复原点，二是手动设置原点位置。 首先，在使用 MR-J2 软件恢复原点时，需要启动 MR-J2 软件，然后点击开始按钮，选择程序，点击 MR-J2-M6 Setup S_W...
Panasonic伺服参数设定说明
12-12
Panasonic伺服参数设定说明是指Panasonic MINAS A系列伺服电机的参数设定方法，该方法涉及到驱动器的电子齿轮比和需要马达转一圈回授的脉冲数的计算、驱动器参数的设定、机台的刚性调整等多方面的内容。 首先，在...
测厚仪设定
04-07
介绍了关于测厚仪设定的详细说明，提供仪器仪表的技术资料的下载。
基于opencv的数字识别
09-12
这一步可能还需要一些后处理，比如设定阈值来过滤掉匹配不充分的候选。 在`number_recognition`这个项目中，很可能包含了实现上述步骤的代码示例、数据集、预处理模板以及测试用例。通过深入研究这些文件，我们可以...
MapReduce的自定义分区与ReduceTask数量
大数据梦想家
11-14 5430
        本篇博客小菌为大家带来的是MapReduce的自定义分区与ReduceTask内容的分享(ReduceMap具体计算流程见《MapReduce中shuffle阶段概述及计算任务流程》)。         在MapReduce...
Hadoop - reduce任务的数量
qq_28139673的博客
03-13 959
reduce任务的数量并非由输入数据的大小决定，而是特别指定的。如有多个reduce任务，则每个map任务都会对其输出进行分区（partition），即为每个reduce任务建一个分区。每个分区由许多键（及其对应值），但每个键对应的 键/值对 记录都在同一个分区中。分区由用户定义的分区函数控制，但通常用默认的分区器（partitioner，也称为“分区函数”）通过哈希函数来分区，这种方法很高效。...
大数据-mapreduce-设置ReduceTask数量-小记
橙汁糖的博客
12-03 814
job.setNumReduceTasks(int 值)
Hadoop之ReduceTask工作机制
努力努力再努力L
06-10 936
Hadoop之ReduceTask工作机制 目录 设置ReduceTask并行度（个数） 注意 实验：测试reducetask多少合适 ReduceTask工作机制 1. 设置ReduceTask并行度（个数） reducetask的并行度同样影响整个job的执行并发度和执行效率，但与maptask的并发数由切片数决定不同，Reducetask数量的决定是可以直接手动设置： //默认值是1...
Reduce Task的学习笔记
aodiyi6351的博客
08-11 103
MapReduce五大过程已经分析过半了。上次分析完Map的过程，着实花费了我的非常多时间。只是收获非常大，值得了额，这次用相同的方法分析完了Reduce的过程，也算是彻底摸透了MapReduce思想的2个最最重要的思想了吧。好，废话不多，切入正题，在学习Reduce过程分析的之前，我特意查了书籍上或网络上相关的资料。我发现非常大都是大同小异。缺乏对于源代...
hadoop细节---reduce任务数量
坚持到底
10-04 5722
1.reduce任务的数量并非由输入数据的大小决定，而是特别指定的。可以设定mapred.tasktracker.map.task.maximum和mapred.tasktracker.reduce.task.maximum属性的值来指定map和reduce的数量。 2.reduce最优个数与集群中可用的reduce任务槽相关，总槽数由节点数乘以每个节点的任务槽。 3.本地作业运行器上，只支持
Hadoop(四) -- MapReducer（二）maptask和reducetask并行度
BubbleMa
12-10 827
一、MapTask的并行度 运行map部分的任务叫做maptask，并行度是指同时运行的maptask的任务个数。maptask处理的数据量对应于一个文件切片，每个maptask处理一个文件切片大小的数据。 MapReducer任务运行时通过 FileInputFormat 类传入输入数据文件，该类在读取文件时会调用 getSplit() 方法对文件进行逻辑切片。 getSplit() 部分源码如下，当使用默认配置时切片大小默认等于HDFS分块大小1...
Hadoop之MapReduce---Shuffle的详细工作流程
吃鱼的博客
09-21 2236
接文章：Hadoop之MapReduce 3.2 Shuffle的详细工作流程 在经过了上述过程之后，可以了解一下详细的Shuffle的工作流程。 3.2.1 Shuffle的前半部分 客户端提交给yarn，然后yarn给一个id，客户端把信息提交后，yarn再继续任务 要开几个MapTask是由Yarn决定的（切片数量）。 一个RecordReader只处理一个切片，一个MapTask也只对应...
MapReduce基础编程（概念篇）
qq_46439199的博客
11-14 1151
MapReduce基础编程（概念篇）
设定的形参个数怎么看
最新发布
09-27
### 回答1： 在 Python 中，可以使用以下两种方法来查看函数的形参个数： ...总而言之，设定的形参个数是通过观察函数或方法定义中括号内声明的参数个数来确定的，根据实际需求传入相应数量和类型的实参来调用函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值