mapreduce-多个文件的输入，实现每个单词的文件次数倒序排序

最新推荐文章于 2024-06-14 01:24:13 发布

IT雪

最新推荐文章于 2024-06-14 01:24:13 发布

阅读量814

点赞数

分类专栏： mapreduce

本文链接：https://blog.csdn.net/qq_38709565/article/details/83108534

版权

本文通过两次MapReduce操作，详细介绍了如何处理多个文件的输入数据，统计每个单词在不同文件中出现的次数，并进行倒序排序。利用CombineSortMRD1和MyCombine.jar提高处理效率，最后通过FileNumber.java实现按文件次数的倒序排序。

摘要由CSDN通过智能技术生成

1、第一次mapreduce

package cn.itcast.mr.combineSort2;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.Mapper.Context;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class combineSortMRD {

	static class combineSortMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {

			String line = value.toString();
			String[] words = line.split(" ");
			
			//获取切片信息 
			FileSplit inputSplit = (FileSplit) context.getInputSplit();
			String name = inputSplit.getPath().getName();
			
			for(String word:words){
				context.write(new Text(word+"-->"+name),new IntWritable(1));
			}
		}
	}
	
	static class combineSortReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

		@Override
		protected void