MapReduce 如何输出多个文件：MultipleOutputs 运用可行

最新推荐文章于 2019-11-16 15:05:37 发布
最新推荐文章于 2019-11-16 15:05:37 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： 大数据时代 文章标签： mapreduce multipleoutputs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengsi19361/article/details/77375947
版权

使用的背景和目的比较简单，如果日后有适合的场景，我会把它写下来。目前是一名新手，这里将代码一一贴出来~

1. 主程序

PartitionByStationUsingMultipleOutputs.java

package practice.hadoop.simple_examples;

import java.io.IOException;

import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 * 多个文件输出示例
 * <h1>目标</h1>
 * <p>有多少个气象站，就输出多少个该气象站气温数据。</p>
* @author Henry
* Created at 2017年8月18日
 */
public class PartitionByStationUsingMultipleOutputs extends Configured implements Tool {
	// Mapper
	static class StationMapper extends Mapper<LongWritable, Text, Text, Text> {
		private final NcdcRecordParser mParser = new NcdcRecordParser();
		@Override
		protected void map(final LongWritable key, final Text value, final Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
			mParser.parse(value);
			context.write(new Text(mParser.getStationId()), value);
		}
	}
	
	// Reducer
	static class StationReducer extends Reducer<Text, Text, NullWritable, Text> {
		MultipleOutputs<NullWritable, Text> multipleOutputs = null;
		
		@Override
		protected void setup(final Reducer<Text, Text, NullWritable, Text>.Context context) throws IOException, InterruptedException {
			multipleOutputs = new MultipleOutputs<NullWritable, Text>(context);
		}
		
		@Override
		protected void reduce(final Text arg0, final Iterable<Text> arg1, final Reducer<Text, Text, NullWritable, Text>.Context arg2) throws IOException, InterruptedException {
			for (final Text value : arg1) {
				multipleOutputs.write(NullWritable.get(), value, arg0.toString()/*baseOutputPath*/);
			}
		}
		
		@Override
		protected void cleanup(final Reducer<Text, Text, NullWritable, Text>.Context context) throws IOException, InterruptedException {
			multipleOutputs.close();
		}
	}
	
	@Override
	public int run(final String[] arg0) throws Exception {
		final Job job = JobBuilder.parseInputAndOutput(this, getConf(), arg0);
		if (job == null) {
			return -1;
		}
		
		job.setMapperClass(StationMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);
		
		job.setReducerClass(StationReducer.class);
		job.setOutputKeyClass(NullWritable.class);
		job.setOutputValueClass(Text.class);
		
		return (job.waitForCompletion(true) ? 0 : 1);
	}

	// Main
	public static void main(final String[] args) throws Exception {
		final int exitCode = ToolRunner.run(new PartitionByStationUsingMultipleOutputs(), args);
		System.exit(exitCode);
	}
}


2. 工具类

2.1 JobBuilder.java

主要用于主程序运行时预输入/输出参数的基本验证。 

package practice.hadoop.simple_examples;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;

public final class JobBuilder {
	public static Job parseInputAndOutput(final Tool tool, final Configuration conf, final String[] args) throws IOException {
		if (args.length != 2) {
			System.err.printf("Please note that you have " + args.length + " parameters.");
			printUsage(tool, "<inout> <output>");
			return null;
		}
		final Job jobConf = Job.getInstance(conf);
		FileInputFormat.addInputPath(jobConf, new Path(args[0]));
		FileOutputFormat.setOutputPath(jobConf, new Path(args[1]));
		
		return jobConf;
	}

	public static void printUsage(final Tool tool, final String extraArgsUsage) {
		System.err.printf("Usage: % [genericOptions] %s\n\n", tool.getClass().getSimpleName(), extraArgsUsage);
	}
}


2.2  NcdcRecordParser.java

主要用来解析天气数据行。 

package practice.hadoop.simple_examples;

import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.io.Text;

public final class NcdcRecordParser {
	private static final int MISSING_TEMPERATURE = 9999;

	private static final DateFormat DATE_FORMAT = new SimpleDateFormat("yyyyMMddHHmm");

	private String stationId;
	private String observationDateString;
	private String year;
	private String airTemperatureString;
	private int airTemperature;
	private boolean airTemperatureMalformed;
	private String quality;

	public void parse(final String record) {
		stationId = record.substring(4, 10) + "-" + record.substring(10, 15);
		observationDateString = record.substring(15, 27);
		year = record.substring(15, 19);
		airTemperatureMalformed = false;
		// Remove leading plus sign as parseInt doesn't like them (pre-Java 7)
		if (record.charAt(87) == '+') {
			airTemperatureString = record.substring(88, 92);
			airTemperature = Integer.parseInt(airTemperatureString);
		} else if (record.charAt(87) == '-') {
			airTemperatureString = record.substring(87, 92);
			airTemperature = Integer.parseInt(airTemperatureString);
		} else {
			airTemperatureMalformed = true;
		}
		airTemperature = Integer.parseInt(airTemperatureString);
		quality = record.substring(92, 93);
	}

	public void parse(final Text record) {
		parse(record.toString());
	}

	public boolean isValidTemperature() {
		return !airTemperatureMalformed && airTemperature != MISSING_TEMPERATURE && quality.matches("[01459]");
	}

	public boolean isMalformedTemperature() {
		return airTemperatureMalformed;
	}

	public boolean isMissingTemperature() {
		return airTemperature == MISSING_TEMPERATURE;
	}

	public String getStationId() {
		return stationId;
	}

	public Date getObservationDate() {
		try {
			System.out.println(observationDateString);
			return DATE_FORMAT.parse(observationDateString);
		} catch (final ParseException e) {
			throw new IllegalArgumentException(e);
		}
	}

	public String getYear() {
		return year;
	}

	public int getYearInt() {
		return Integer.parseInt(year);
	}

	public int getAirTemperature() {
		return airTemperature;
	}

	public String getAirTemperatureString() {
		return airTemperatureString;
	}

	public String getQuality() {
		return quality;
	}
}

3. POM.xml

配置主类。 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>practice.hadoop</groupId>
	<artifactId>simple-examples</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>simple-examples</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<!-- <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> 
			<version>4.12</version> </dependency> -->
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.8.0</version>
		</dependency>

		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.8.0</version>
		</dependency>

		<dependency>
			<groupId>org.apache.mrunit</groupId>
			<artifactId>mrunit</artifactId>
			<version>1.1.0</version>
			<classifier>hadoop2</classifier>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-core</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-common -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-yarn-common</artifactId>
			<version>2.8.0</version>
		</dependency>

		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-api -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-yarn-api</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-auth -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-auth</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-jobclient -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-annotations -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-annotations</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-client -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-yarn-client</artifactId>
			<version>2.8.0</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-common -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-common</artifactId>
			<version>2.8.0</version>
		</dependency>
		<dependency>
			<groupId>log4j</groupId>
			<artifactId>log4j</artifactId>
			<version>1.2.17</version>
		</dependency>
	</dependencies>
	<build>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.6</source>
					<target>1.6</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
					<archive>
						<manifest>
							<mainClass>practice.hadoop.simple_examples.PartitionByStationUsingMultipleOutputs</mainClass>
						</manifest>
					</archive>
				</configuration>
			</plugin>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-source-plugin</artifactId>
				<executions>
					<execution>
						<id>attach-sources</id>
						<goals>
							<goal>jar</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
</project>

4. 编译

mvn clean 
mvn assembly:assembly

5. 上传jar

将target目录的jar文件上传到节点。

6. 数据

/henry/input/weather_multiple.txt 
123457798676231190101234567986762311901012345679867623119010123456798676231190101234561+00121534567890356
123455798676231190101234567986762311901012345679867623119010123456798676231190101234562+01122934567890456
123459798676231190201234567986762311901012345679867623119010123456798676231190101234562+02120234567893456
123456708676231190401234567986762311901012345679867623119010123456798676231190101234561+00321234567803456
123456718676231190101234567986762311902012345679867623119010123456798676231190101234561+00429234567903456
123456728676231190501234567986762311902012345679867623119010123456798676231190101234561+01021134568903456
123456738676231190201234567986762311902012345679867623119010123456798676231190101234561+01124234578903456
123456748676231190301234567986762311905012345679867623119010123456798676231190101234561+04121234678903456
123456792276231190301234567986762311905012345679867623119010123456798676231190101234561+00821234678903456


7. 运行

#export HADOOP_CLASSPATH=/software/hadoop-2.8.0/myjars/simple-examples-0.0.1-SNAPSHOT-jar-with-dependencies.jar
#bin/hadoop practice.hadoop.simple_examples.PartitionByStationUsingMultipleOutputs /henry/input/weather_multiple.txt /henry/output/multipleoutputs

8. 结果







门关
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Hadoop]MapReduce多输出
SmartSi
12-06 3194
FileOutputFormat及其子类产生的文件放在输出目录下。每个reducer一个文件并且文件由分区号命名：part-r-00000，part-r-00001，等等。有时可能要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。MultipleOutputFormat类可以将数据写到多个文件，这些文件的名称源于输出
使用MultipleOutputs方法将mapreduce分组输出
端木胥的博客
05-13 249
使用MultipleOutputs方法将mapreduce分组输出 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用通过使用Map和Reduce函数，再定义输入输出就能得到我们想要的结果。不过一般Map Reduce的输出只包含一个可视化输出文件（如下图part-r-00000文件），那么我们如果需要将这一个输出文件分为多个...
MapReduce-多个输出(使用MultipleOutput，不指定reduce任务个数)
weixin_30617737的博客
08-26 241
多个输出 FileOutputFormat及其子类产生的文件放在输出目录下。每个reduce一个文件并且文件由分区号命名：part-r-00000,part-r-00001,等等。有时可能需要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。 案例：数据分割 按气象站来区分气象数据。这需要运行一个作业，作业的输出...
在MapReduce中利用MultipleOutputs输出多个文件
行者小朱的博客
10-30 2019
最近在学习Hadoop，由于用到要将reduce结果输出到多个文档中，所以研究了一下MultipleOutputs用法，在这里总结一下。 首先我用到的例子是将原始数据按国家分类成不同的文档，数据是从网上拷贝下来的，如下：18.217.167.70 United States 206.96.54.107 United States 196.109.151.139 Mauritius 174.
MultipleOutputFormat和MultipleOutputs
weixin_30374009的博客
05-22 143
一，介绍 1，旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputs MultipleOutputFormat allowing to write the output data to different output files. Multip...
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
Hadoop MultipleOutputs是Hadoop MapReduce框架中的一种输出机制，可以将输出写入到多个文件中。下面将详细介绍Hadoop MultipleOutputs输出到多个文件中的实现方法。 1. 输出到多个文件或多个文件夹 在使用Hadoop ...
Hadoop MapReduce多输出详细介绍
09-30
在使用MapReduce框架时，经常需要处理输出数据，这时可能会遇到需要将输出分散到多个文件中的需求，这就是Hadoop MapReduce多输出功能的用途。Hadoop MapReduce多输出的功能主要由MultipleOutputFormat类及其相关类...
MapReduce多路径输入输出
06-18
这是 MapReduce 的多路径输入输出示例代码。有关大数据的相关文章可以阅读我的专栏：《大数据之Hadoop》 http://blog.csdn.net/column/details/bumblebee-hadoop.html
MapReduce详解包括配置文件
最新发布
04-18
它最初由Doug Cutting基于Google发表的论文《MapReduce: Simplified Data Processing on Large Clusters》进行设计实现。 **MapReduce**的工作流程分为两个主要阶段： 1. **Map（映射）阶段**：在这个阶段，原始...
示例-MapReduce-MultipleInputs用法
03-27
内含一个eclipse例子代码。 MultipleInputs完成多个Mapper和单个Reducer的组合。
MapReduce之多目录输出
weixin_43006131的博客
11-16 390
多目录输出： 输出两个文件一个是最大值，一个最小值。 主要操作reduce阶段 1.在reduce阶段定义多目录输出对象 private MutipleOutPuts<Text,DouWritable> outputs =null; 2.在setup()创建多目录输出对象 需要context支持 outputs = new MultipleOutputs(context);...
MapReduce使用MultipleOutputs分组输出多个文件
我的博客
11-26 359
package com.oracle.multiple; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hado...
MapReduce处理输出多文件格式(MultipleOutputs)
shujuboke的博客
08-15 2258
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的
mapreduce使用MultipleOutputs
数据技术控
12-09 434
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs; reduce端 private MultipleOutputs output; @Override protected void setup(Context context ) throws IOException, Interr
mapreduce练习：多文件输出对象MultipleOutputs
bokzmm的博客
03-08 664
一、需求：词频统计，根据单词的首字符的不同输出到不同的结果文件中去。输入文件内容如下：hello world hello world hello world 123 123 456 123 123 456 123 123 HELLO WORLD HU HA HELLO hello tom jack 123 678 腾讯 百度 阿里 天猫 腾讯 百度 hello jack 456 678二、为了实现...
mapreduce多文件输出
weixin_40626699的博客
02-26 1183
MultipleOutputs
MapReduce 配置多路输出模式 (MultipleOutputs)
李昊轩的博客
10-30 609
在setup()里配置多路输出器: public static class AppLogDataCleanMapper extends Mapper<LongWritable, Text, Text, NullWritable> { Text k; NullWritable v; SimpleDateFormat sdf; ...
MapReduce 编程 系列九 Reducer数目
aoe41606的博客
08-06 133
本篇介绍怎样控制reduce的数目。前面观察结果文件，都会发现通常是以part-r-00000 形式出现多个文件，事实上这个reducer的数目有关系。reducer数目多，结果文件数目就多。在初始化job的时候。是能够设置reducer的数目的。example4在example的基础上做了改动。改动了pom.xml。使得结束一个參数作为reducer的数目。改动了LogJob.ja...
"MapReduce压缩文件操作：Gzip、Snappy、Lzo
本文介绍了在MapReduce操作下使用Gzip压缩、Snappy压缩和Lzo压缩算法进行文件的写入和读取。文章分为三个部分，分别讨论了Gzip压缩文件的写入和读取、Snappy压缩文件的写入和读取，以及Lzo压缩文件的写入和读取。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值