Hadoop_MapReduce_InputFormat工作原理

最新推荐文章于 2021-04-10 22:40:00 发布
最新推荐文章于 2021-04-10 22:40:00 发布
阅读量4.4w 收藏 4
点赞数 2
分类专栏： Hadoop 文章标签： hadoop 大数据 mapreduce InputFormat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BLU_111/article/details/105771363
版权

Hadoop_MapReduce工作原理

六个阶段：

  • Input 文件输入
  • Splitting 分片
  • Mapping
  • Shuffling
  • Reducing
  • Final result

mapper的输入数据为KV对形式，每一个KV对都会调用map()方法，输出数据也是KV对形式。

mapper从context中获得输入数据，将处理后的结果写入context中（context.write(text, iw);），输入（LongWritable, Text）和输出（Text, IntWritable）的数据格式由用户设置。

context通过RecordReader获取输入数据，通过RecordWriter保存mapper处理后的数据


InputFormat负责处理MR的输入

InputFormat是一个抽象类，有以下几个子类：

  • ComposableInputFormat
  • CompositeInputFormat
  • DBInputFormat
  • DelegatingInputFormat
  • FileInputFormat

InputFormat有三个方法：

  • InputFormat() ：构造器
  • createRecordReader() ：提供RecordReader的实现类，把切片读到Mapper中进行处理。
  • getSplits() ：把输入文件进行切分

InputFormat的子类FileInputFormat还是一个抽象类，有以下几个子类：

  • CombineFileInputFormat
  • FixedLengthInputFormat
  • KeyValueTextInputFormat
  • NLineInputFormat
  • SequenceFileInputFormat
  • TextInputFormat

TextInputFormat

TextInputFormat 是MapReduce默认的InputFormat，它是按行读取每条记录。
Key（LongWritable）：用来存储该行在整个文件中的起始字节偏移量
Value（Text）：为该行的内容。
TextInputFormat对文件切分的逻辑是使用父类（FileInputFormat）的 getSplits() 方法。
切片方式为：对每个文件进行切分，默认的切片大小为128M.


NLineInputFormat

切片方式：以文件N行作为一个切片，默认一行一个切片。
KEY类型：LongWritable
VALUE类型：Text

示例：输入12行数据，以3行为一个切片，分成4个切片：

修改 Hadoop_WordCount单词统计 工程

  1. 修改 MyWordCount.java
package com.blu.mywordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.NLineInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyWordCount {
	
	public static void main(String[] args) {
		
		try {
			Configuration conf = new Configuration();
			Job job = Job.getInstance(conf);
			job.setJarByClass(MyWordCount.class);
			job.setMapperClass(MyWordCountMapper.class);
			job.setReducerClass(MyWordCountReducer.class);
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);
			FileInputFormat.addInputPath(job, new Path(args[0]));
			FileOutputFormat.setOutputPath(job, new Path(args[1]));
			//指定划分切片的行数
			NLineInputFormat.setNumLinesPerSplit(job, 3);
			//指定InputFormat的类型
			job.setInputFormatClass(NLineInputFormat.class);
			boolean flag = job.waitForCompletion(true);
			System.exit(flag ?0 : 1);
			
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

}
  1. 在D:\data下的testdata.txt文件中写入12行的数据：
good morning
good afternoon
good evening
zhangsan male
lisi female
wangwu male
good morning
good afternoon
good evening
zhangsan male
lisi female
wangwu male
  1. 设置以下参数运行MyWordCount的main方法
D:\data\testdata.txt D:\data\output
  1. 运行结果
afternoon	2
evening	2
female	2
good	6
lisi	2
male	4
morning	2
wangwu	2
zhangsan	2
  1. 控制台打印切片数量为4：
[INFO ] 2020-04-26 17:12:41,643 method:org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:204)
number of splits:4
  1. 修改的关键代码：
//指定划分切片的行数
NLineInputFormat.setNumLinesPerSplit(job, 3);
//指定InputFormat的类型
job.setInputFormatClass(NLineInputFormat.class);

KeyValueTextInputFormat
KEY类型：Text ：以分隔符前的数据作为key
VALUE类型：Text ：以分隔符后的数据作为value

示例，使用 KeyValueTextInputFormat 统计以下txt中人名出现的次数

D:\data\money.txt ( 注意该文件中每一行的人名与后面的数据的分割符为Tab )

zhangsan	500 450 jan
lisi	200 150 jan
lilei	150 160 jan
zhangsan	500 500 feb
lisi	200 150 feb
lilei	150 160 feb
  1. 创建 Kvmapper 类
package com.blu.kvdemo;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

/**
 * 输出格式：
 * zhangsan 1
 * lisi 1
 * zhangsan 1
 * 
 * @author BLU
 *
 */
public class Kvmapper extends Mapper<Text, Text, Text, IntWritable>{
	
	/**
	 * 输入格式：
	 * zhangsan 500 450 jan
	 * key:zhangsan
	 * value:500 450 jan
	 */

	private IntWritable iw = new IntWritable(1);
	
	@Override
	protected void map(Text key, Text value, Mapper<Text, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		
		context.write(key, iw);
	}
}
  1. KvReducer类
package com.blu.kvdemo;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class KvReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
	
	IntWritable iw = new IntWritable();
	
	@Override
	protected void reduce(Text key, Iterable<IntWritable> value,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
		
		int sum = 0;
		for(IntWritable iw : value) {
			sum += iw.get();
		}
		iw.set(sum);
		context.write(key, iw);
	}

}
  1. KeyValueDemo
package com.blu.kvdemo;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.KeyValueLineRecordReader;
import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class KeyValueDemo {

	public static void main(String[] args) throws Exception {
		
		Job job = Job.getInstance();
		job.setInputFormatClass(KeyValueTextInputFormat.class);
		Configuration conf = new Configuration();
		//设置以tab为分隔符
		conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "\t");
		job.setJarByClass(KeyValueDemo.class);
		job.setMapperClass(com.blu.kvdemo.Kvmapper.class);
		job.setReducerClass(com.blu.kvdemo.KvReducer.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		boolean flag = job.waitForCompletion(true);
		System.exit(flag?0:1);
	}
}
  1. 设置以下参数运行KeyValueDemo的main方法
D:\data\money.txt D:\data\output
  1. 运行结果
lilei	2
lisi	2
zhangsan	2

CombineTextInputFormat

TextInputFormat 的切片机制是按文件切片，如果有大量的小文件，就会产生大量的MapTask，处理效率会很低。而CombineTextInputFormat可以将小文件合并为一个切片进行处理。
CombineTextInputFormat的切片机制：

  1. 虚拟存储过程

假设有以下四个文件：

 a.txt	1.7M
 b.txt	5.1M
 c.txt	3.4M
 d.txt	6.8M

假设 setMaxInputSplitSize的值为4M
将所有文件依次与 setMaxInputSplitSize的值4M比较，如果小于4M，逻辑上划分为一块。如果大于4M但小于8M，则文件均分为两块。如果大于8M，则先以4M为一块，剩余大小继续比较。
分块情况如下：

块1：	1.7M
块2：	2.55M
块3：	2.55M
块4：	3.4M
块5：	3.4M
块6：	3.4M
  1. 切片过程
    判断虚拟存储文件块大小是否大于等于setMaxInputSplitSize的值（4M），如果大于等于4M，则单独作为一个切片。如果小于4M，则与下一个文件块合并为一个切片。
    最终形成3个切片：
切片1：	1.7M+2.55M
切片2：	2.55M+3.4M
切片3：	3.4M+3.4M

CombineTextInputFormat实例演示：

  1. 在D:\data下创建6个小文件：在这里插入图片描述
  2. 修改Hadoop_WordCount单词统计工程的MyWordCount
package com.blu.mywordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.NLineInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyWordCount {
	
	public static void main(String[] args) {
		
		try {
			Configuration conf = new Configuration();
			Job job = Job.getInstance(conf);
			job.setJarByClass(MyWordCount.class);
			job.setMapperClass(MyWordCountMapper.class);
			job.setReducerClass(MyWordCountReducer.class);
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);
			FileInputFormat.addInputPath(job, new Path(args[0]));
			FileOutputFormat.setOutputPath(job, new Path(args[1]));
			boolean flag = job.waitForCompletion(true);
			System.exit(flag ?0 : 1);		
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

}
  1. 用以下参数运行main方法：
D:\data\ D:\data\output
  1. 控制台打印，输入文件数为6，切片数为6（这是默认的TextInputFormat的切片方式）：
Total input files to process : 6
number of splits:6
  1. 再次修改 MyWordCount 类：
package com.blu.mywordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.NLineInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyWordCount {
	
	public static void main(String[] args) {
		
		try {
			Configuration conf = new Configuration();
			Job job = Job.getInstance(conf);
			job.setJarByClass(MyWordCount.class);
			job.setMapperClass(MyWordCountMapper.class);
			job.setReducerClass(MyWordCountReducer.class);
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);
			//设置输入的格式类为CombineTextInputFormat
			job.setInputFormatClass(CombineTextInputFormat.class);
			//设置虚拟切片最大值为1M
			CombineTextInputFormat.setMaxInputSplitSize(job, 1024*1024);
			FileInputFormat.addInputPath(job, new Path(args[0]));
			FileOutputFormat.setOutputPath(job, new Path(args[1]));
			boolean flag = job.waitForCompletion(true);
			System.exit(flag ?0 : 1);
			
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	
}

关键代码：

//设置输入的格式类为CombineTextInputFormat
job.setInputFormatClass(CombineTextInputFormat.class);
//设置虚拟切片最大值为1M
CombineTextInputFormat.setMaxInputSplitSize(job, 1024*1024);
  1. 再次运行的结果，输入文件为6，切片数为1：
Total input files to process : 6
number of splits:1

自定义InputFormat
步骤：
自定义一个类继承FileInputFormat
重写RecordReader

实例：过滤指定的单词，不进行统计

修改Hadoop_WordCount单词统计工程

  1. MyInputFormat 类：
package com.blu.mywordcount.inputformat;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class MyInputFormat extends FileInputFormat<LongWritable, Text>{

	@Override
	public RecordReader<LongWritable, Text> createRecordReader(InputSplit split, TaskAttemptContext context)
			throws IOException, InterruptedException {
		return new myRecordReader(context.getConfiguration());
	}
	
}
  1. myRecordReader类：
package com.blu.mywordcount.inputformat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.LineRecordReader;

public class myRecordReader extends RecordReader<LongWritable, Text> {
	
	public static String CUSTOM_KEYWORD="mapreduce.input.myRecordReader.line.keyword";
	private LineRecordReader lineRecordReader;
	//要过滤的单词
	private String keyword;
	private LongWritable key;
	private Text value;
	
	public myRecordReader() {
		super();
	}

	public myRecordReader(Configuration conf) {
		lineRecordReader = new LineRecordReader();
		keyword = conf.get(CUSTOM_KEYWORD);
	}
	
	/**
	 * 初始化方法
	 */
	@Override
	public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
		lineRecordReader.initialize(split, context);
	}
	
	/**
	 * 主要逻辑
	 * 返回值true表示继续获取后面的数据
	 * 返回值false表示停止获取后面的数据
	 */

	@Override
	public boolean nextKeyValue() throws IOException, InterruptedException {
		//判断是否还有数据,没有数据就停止继续读取
		if(!lineRecordReader.nextKeyValue()) {
			return false;
		}
		//获得一行数据
		Text currentValue = lineRecordReader.getCurrentValue();
		//判断这一行数据中是否包含要过滤的单词
		String val = currentValue.toString();
		if(keyword != null) {
			if(val.contains(keyword)) {
				val = val.replace(keyword+" ", "");
				currentValue.set(val);
			}
		}
		key = lineRecordReader.getCurrentKey();
		value = currentValue;
		return true;
	}

	/**
	 * 返回当前行的Key的值
	 */
	@Override
	public LongWritable getCurrentKey() throws IOException, InterruptedException {
		return key;
	}

	/**
	 * 返回当前行的Value的值
	 */
	@Override
	public Text getCurrentValue() throws IOException, InterruptedException {
		return value;
	}

	@Override
	public float getProgress() throws IOException, InterruptedException {
		return 0;
	}

	@Override
	public void close() throws IOException {
		
	}
}
  1. 修改MyWordCount类：
package com.blu.mywordcount;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import com.blu.mywordcount.inputformat.MyInputFormat;
import com.blu.mywordcount.inputformat.myRecordReader;

public class MyWordCount {
	
	public static void main(String[] args) {
		
		try {
			Configuration conf = new Configuration();
			//设置要过滤的单词
			conf.set(myRecordReader.CUSTOM_KEYWORD, "zhangsan");
			Job job = Job.getInstance(conf);
			job.setJarByClass(MyWordCount.class);
			job.setMapperClass(MyWordCountMapper.class);
			job.setReducerClass(MyWordCountReducer.class);
			job.setMapOutputKeyClass(Text.class);
			job.setMapOutputValueClass(IntWritable.class);
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(IntWritable.class);
			//设置自定义的输入类
			job.setInputFormatClass(MyInputFormat.class);
			FileInputFormat.addInputPath(job, new Path(args[0]));
			FileOutputFormat.setOutputPath(job, new Path(args[1]));
			boolean flag = job.waitForCompletion(true);
			System.exit(flag ?0 : 1);
			
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

}
  1. D:\data\testdata.txt的内容：
good morning
good afternoon
good evening
zhangsan male
lisi female
wangwu male
good morning
good afternoon
good evening
zhangsan male
lisi female
wangwu male
  1. 用以下参数运行
D:\data\testdata.txt D:\data\output
  1. 结果
afternoon	2
evening	2
female	2
good	6
lisi	2
male	4
morning	2
wangwu	2
BLUcoding
关注
专栏目录
大数据｜MapReduce模型 | Hadoop MapReduce的基本工作原理
知识库搭建ing
03-29 1414
MapReduce模型 | Hadoop MapReduce的基本工作原理
hadoop mapreduce原理
weixin_45075077的博客
08-15 422
简介 本文先介绍Google 开源项目mapreduce1.0版。mapreduce的设计是为实现一个抽象的计算框架，使用者不用关心底层如何实现，只需要关注业务逻辑从而计算海量、复杂的原始数据。 编程模型 设计理念是实现“计算向数据靠拢”，“数据向计算靠拢”会造成大量的I/O消耗，计算过程分为map和reduce阶段。 存储在HDFS中的数据被切分成很多块，这些块可以分发到多个map任务并行处理，...
[Hadoop源码详解]之一MapReduce篇之InputFormat
depe16540458的博客
02-28 340
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：[Hadoop源码详解]之一MapReduce篇之InputFormat 1. 概述 我们在设置MapReduce输入格式的时候，会调用这样一条语句： job.setInputFormatClass(KeyValueTextInputFormat.class); 这条语句保证了输入文件...
hadoop 文件划分，map执行浅析
bruce_wang_janet的专栏
02-13 4961
在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。 数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。 先从一张经典的MapReduce工作流程图出发： 1、运行mapred程序； 2、本次运行将生成一
Hadoop原理之——MapReduce原理
gaoyubo_taili的博客
08-02 545
Hadoop 3个核心组件： 分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）点击查看（Hadoop原理之——HDFS原理） 分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算 分布式资源调度平台：Yarn——帮用户调度大量的mapreduce程序，并合理分配运算资源   什么是MapReduc...
Hadoop Map/Reduce 原理
zlcd1988的专栏
09-24 1049
Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示：
Hadoop_MapReduce教程
01-29
#### 三、Hadoop MapReduce 工作流程 1. **输入分片**：原始数据被分成多个分片，每个分片由一个或多个 map 函数处理。 2. **Map 函数执行**：每个 map 函数处理其对应的分片，并产生一系列键值对作为中间结果。 3....
005_hadoop中MapReduce详解_2
08-06
在Hadoop生态系统中，...理解和掌握MapReduce的工作原理、编程模型以及相关配置，是成为Hadoop开发者的必备技能。通过阅读和分析像`TestMR.java`这样的源代码，我们可以深入学习并熟练运用MapReduce解决实际问题。
007_hadoop中MapReduce应用案例_1_数据去重
08-06
在IT行业中，Hadoop MapReduce是一种...这个案例涵盖了数据处理的关键步骤，包括数据分片、并行处理、中间结果的聚合以及最终的数据去重，对于理解Hadoop MapReduce的工作原理及其在大数据处理中的应用具有很高的价值。
Java-API-Operate-Hadoop.rar_hadoop_hadoop api
09-14
它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，而Java API是开发者与Hadoop交互的主要方式。本文将深入探讨Java如何操作Hadoop，以及在"Java-API-Operate-Hadoop.rar"压缩包中提供的资源。 ...
MapReduce框架原理-InputFormat数据输入
weixin_47621995的博客
07-23 85
1 InputFormat数据输入 1 切片与MapTask并行度决定机制 1）问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？ 2）MapTask并行度决定机制 数据块：Block是HDFS物理上把数据分成一块一块。 数据切片：数据切片只是在逻辑上对输入进
【Hadoop-MapReduce】详细解析InputFormat工作机制，源码分析，切片机制
一个写湿的程序猿
07-23 377
详细解析InputFormat工作机制 文章目录详细解析InputFormat工作机制3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 TextInputFormat3.1.5 CombineTextInputFormat切片机制3.1.6 CombineTextInputFormat案例实操 3.1 InputFormat数据输入 3.1.1 切片与MapTask并
Hadoop--MapReduce--InputFormat--切片机制与MapTask并行度决定机制
weixin_44976835的博客
04-10 195
InputFormat数据输入 切片与MapTask并行度决定机制 MapTask个数决定了并行度 虽然增加MapTask会增加运算速度，但是MapTask也不是越多越好，如果数据比较小，那么就不需要太多的MapTask，过多的MapTask反而会降低运算速度 MapTask切片存储 数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据的单位 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位
Hadoop MapReduce 原理 InputFormat介绍
有上进心的阿龙
12-23 104
10-Hadoop MapReduce 原理 InputFormat介绍 有的数据不可以进行切分，
Hadoop 之 MapReduce （InputFormat 和 MapReduce工作流程 ）
weixin_48067943的博客
07-28 381
文章目录一、MapReduce 概述1.1 MapReduce 定义1.2 MapReduce 优缺点1.2.1 优点1.2.1 缺点1.3 MapReduce 核心思想1.4 MapReduce 进程1.5 官方 WordCount 源码1.6 常用数据序列化类型1.7 MapReduce 编程规范1.8 WordCount 案例练习 一、MapReduce 概述 1.1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框
简述Hadoop 1.X 系统原理
weixin_34021089的博客
01-10 119
一、hadoop 1.x结构 HDFS：hadoop分布式存储系统 MapReduce：分布式计算框架，包含资源管理和任务调度等（hadoop 2.x中被分离到Yarn组件）。 API：用户与系统交互的入口，有原生的MapReduce API，也有对Map Reduce进行封装抽象的Pig、Hive和HBase等。 二、hadoop...
Hadoop之InputFormat数据输入详解
努力努力再努力L
06-10 1104
Hadoop之InputFormat数据输入详解 Job提交流程和切片源码详解 FileInputFormat切片机制 CombineTextInputFormat切片机制 InputFormat接口实现类 自定义InputFormat 自定义InputFormat案例实操 1. Job提交流程和切片源码详解 job提交流程源码详解，如下 waitForCompletion() sub...
mapreduce原理与学习道路
梦想成为大牛的小扬的专栏
01-23 662
MapReduce特点  易于编程（熟悉之后确实很简单，大多数是map和reduce两个部分。hive和pig让mapreduce更加简单）  良好的扩展性（简单的添加机器就可以实现）  高容错性（job中任务部分失败，可以重新执行）  适合PB级以上海量数据的离线处理 MapReduce不擅长  实时计算  像MySQL一样，在毫秒级或者秒级内返回结果（可以参考Spar
Hadoop学习笔记-MapReduce工作原理
gloria_dandan的博客
09-12 1154
本文从一个初学者的角度出发，用通俗易懂的语言介绍Hadoop中MapReduce的工作原理。在介绍MapReduce工作原理前，本文先介绍HDFS的工作原理及架构，再介绍MapReduce的工作原理以及Shuffle的过程。HDFSHDFS是Hadoop的分布式文件系统，HDFS中的文件会默认存储3份，存储在不同的机器上，提供容错机制，副本丢失或者宕机的自动恢复。HDFS的架构如下图所示，总体上采用
Hadoop MapReduce工作原理与wordcount案例解析
"mapreduce.pdf 是关于Hadoop MapReduce的深入解析文档，涵盖了MapReduce的基本概念、工作原理以及Hadoop自带的wordcount示例。文档强调在分析Hadoop MapReduce之前，理解其工作流程的重要性，并引用了一张清晰的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值