MapReduce文件合并与去重

原创已于 2022-04-19 10:39:00 修改 · 5.5k 阅读

45 ·

CC 4.0 BY-SA版权

文章标签：

#eclipse #java

于 2022-04-19 10:28:29 首次发布

该博客展示了如何使用Hadoop MapReduce编写Java程序来合并文件。代码中定义了`MergeMapper`和`MergeReducer`类，分别实现了map和reduce阶段的功能。mapper将输入文件的每一行作为key-value对的value输出，而reducer则将所有相同的key（即所有行）合并在一起。最终，程序将所有输入文件的内容合并到一个输出文件中。

import java.io.IOException;



import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



public class Merge {


    //map

    public static class MergeMapper extends Mapper<Object,Text,Text,Text>{
        public void map(Object key,Text value,Mapper<Object,Text,Text,Text>.Context context)throws IOException,InterruptedException{

            context.write(value,new Text(""));

        }
    }


    //reduce

    public static class MergeReducer extends Reducer<Text,Text,Text,Text>{

        public void reduce(Text key,Iterable<Text> values,Reducer<Text,Text,Text,Text>.Context context)throws IOException,InterruptedException{

            context.write(key,new Text(""));
        }
    }


    //main

    public static void main(String[] args)throws Exception{

        Configuration conf=new Configuration();

        Job job=Job.getInstance(conf,"merge");

        job.setJarByClass(Merge.class);

        job.setMapperClass(MergeMapper.class);

        job.setReducerClass(MergeReducer.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(Text.class);

        FileInputFormat.addInputPath(job,new Path("input"));

        FileOutputFormat.setOutputPath(job,new Path("output"));

        System.exit(job.waitForCompletion(true)?0:1);

    }

}

代码部分完成后运行程序，运行框会显示报错，不需要管，进行文件打包。

打包步骤如下：