MapReduce setup map(reduce) cleanup示例

最新推荐文章于 2021-02-24 10:33:50 发布

想做架构师

最新推荐文章于 2021-02-24 10:33:50 发布

阅读量2.1k

点赞数

分类专栏：应届生一年后毕业找工作 Java HaDoop学习历程文章标签： HaDoop MapReduce Java v

本文链接：https://blog.csdn.net/qq_39184715/article/details/82115424

版权

本文介绍了MapReduce中setup、map和cleanup三个关键方法的用途。setup方法在每个map任务开始时执行，常用于准备工作；map方法执行实际的数据处理；cleanup方法在map任务结束时执行，用于收尾工作。代码示例展示了如何从每个电影文件中取出前20条数据。注意，多个map任务可能会导致取出超过20条数据。

摘要由CSDN通过智能技术生成

继承Mapper类可以重写三个方法

1.setup

每一个map在创建时执行的方法，也就是说该方法只执行一次，一般用来做一些准备工作，如获得文件名等

2.map

真正执行分类操作的方法。

3.cleanup

在map完成任务销毁时执行的方法，也只执行一次，一般用来做一些收尾工作

这三个方法都可以像reduce传送数据

代码取每个电影二十条数据(排序前面写过了，就不写了）：

要注意map的个数，如果有多个map，会取出超过二十条数据

package nuc.edu.ls;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;
import org.apache.hadoop.io.WritableComparable;

public class MovieBean implements WritableComparable<MovieBean>{
    private String movie;
    private String rate;
    private String timeStamp;
    private String uid;
    
	public String getMovie() {
		return movie;
	}
	public void setMovie(String movie) {
		this.movie = movie;
	}
	public String getRate() {
		return rate;
	}
	public void setRate(String rate) {
		this.rate = rate;
	}
	public String getTimeStamp() {
		return timeStamp;
	}
	public void setTimeStamp(String timeStamp) {
		this.timeStamp = timeStamp;
	}
	public String getUid() {
		return uid;
	}
	public void setUid(String uid) {
		this.uid = uid;
	}
	
	public void set(String movie, String rate, String timeStamp, String uid) {
		this.movie = movie;
		this.rate &#