Hadoop学习(四)Mapreduce实例

首先需要修改配置文件
cp mapred-site.xml.template mapred-site.xml

 <property>
 	<name>mapreduce.framework.name</name>
 	<value>yarn</value>
 </property>

修改yarn-site.xml，配置如下：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

因为资源有限，所以没有设置内存和CPU核数。

在/sbin目录下调用stop-yarn.sh脚本

Mapreduce框架包含两部分，分别为：

map阶段–程序mapTask，读取hdfs的数据集（每个mapTask负责128M的数据量）

reduce阶段–程序reduceTask

wordcount实例：实现计算文本中单词出现频率

1.整体运行框架

map阶段： 将每一行文本数据变成<单词,1>这样的kv数据
reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v
注意点：mapreduce程序中，map阶段的进、出数据，reduce阶段的进、出数据。
数据类型都应该是实现了HADOOP序列化框架的类型，如：
String对应Text
Integer对应IntWritable
Long对应LongWritable

2.代码实现

Mapper代码实现

public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
	
	@Override
	protected void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {
		// 切单词
		String line = value.toString();
		String[] words = line.split(" ");
		for(String word:words){
			context.write(new Text(word), new IntWritable(1));
		}
	}
}

Reducer代码实现

public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
	
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
		int count = 0;
		Iterator<IntWritable> iterator = values.iterator();
		while(iterator.hasNext()){
			IntWritable value = iterator.next();
			count += value.get();
		}
		context.write(key, new IntWritable(count));
	}
	
}

JobSubmitter代码实现

public class JobSubmitter {
	
	public static void main(String[] args) throws Exception {
		
		// 在代码中设置JVM系统参数，用于给job对象来获取访问HDFS的用户身份
		System.setProperty("HADOOP_USER_NAME", "root");

		Configuration conf = new Configuration();
		// 1、设置job运行时要访问的默认文件系统
		conf.set("fs.defaultFS", "hdfs://localhost:9000");
		// 2、设置job提交到哪去运行
		conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "localhost");
		// 3、如果要从windows系统上运行这个job提交客户端程序，则需要加这个跨平台提交的参数
		conf.set("mapreduce.app-submission.cross-platform","true");
		
		Job job = Job.getInstance(conf);
		
		// 1、封装参数：jar包所在的位置
//		job.setJar("d:/wc.jar");
		job.setJarByClass(JobSubmitter.class);
		
		// 2、封装参数： 本次job所要调用的Mapper实现类、Reducer实现类
		job.setMapperClass(WordcountMapper.class);
		job.setReducerClass(WordcountReducer.class);
		
		// 3、封装参数：本次job的Mapper实现类、Reducer实现类产生的结果数据的key、value类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		Path output = new Path("/wordcount/output");
		FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000"),conf,"root");
		if(fs.exists(output)){
			fs.delete(output, true);
		}
		
		// 4、封装参数：本次job要处理的输入数据集所在路径、最终结果的输出路径
		FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));
		FileOutputFormat.setOutputPath(job, output);  // 注意：输出路径必须不存在

		// 5、封装参数：想要启动的reduce task的数量
		job.setNumReduceTasks(1);
		
		// 6、提交job给yarn
		boolean res = job.waitForCompletion(true);
		
		System.exit(res?0:-1);
		
	}
	
}

3.运行Mapreduce程序

1.将工程整体打成一个jar包并上传到linux机器上，
2.准备好要处理的数据文件放到hdfs的指定目录中
3.用命令启动jar包中的Jobsubmitter，让它去提交jar包给yarn来运行其中的mapreduce程序 ： hadoop jar wc.jar cn.edu360.mr.wordcount.JobSubmitter
4.去hdfs的输出目录中查看结果