hadoop实例(java模板)：数字逆序输出 (自定义mapper，reducer，自定义key2类型，重写compareTo函数,HDFS操作)

最新推荐文章于 2022-01-17 18:30:46 发布

DASEason

最新推荐文章于 2022-01-17 18:30:46 发布

阅读量3.8k

点赞数 1

分类专栏： hadoop 文章标签： hadoop java mapreduce

本文链接：https://blog.csdn.net/qq547276542/article/details/70051565

版权

本文详细介绍了使用Hadoop MapReduce框架，通过Java编程实现数字逆序输出的实例。内容包括自定义Mapper、Reducer，以及如何处理自定义Key2类型，并覆盖compareTo函数进行比较。此外，还涵盖了HDFS的基本操作。

摘要由CSDN通过智能技术生成

主要是整理了mapreduce常用的操作模板

主函数（请忽略主类的名字。。忘记改了）：

package hadoop.wordCount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.*;

public class WordCount {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		// TODO Auto-generated method stub
		Configuration conf = new Configuration();
		Path inpath  = new Path(HDFS.HDFS_PATH+"/file/input");
		Path outpath = new Path(HDFS.HDFS_PATH+"/file/output");
		Job job = new Job(conf, "WordCount");
		
		//先删除之前的输入输出文件，再重新读取输入文件
		HDFS.rmInHDFS("/file/outpu