java mapreduce程序_Hadoop（7）--java编写mapreduce程序

最新推荐文章于 2023-02-09 20:51:37 发布

weixin_39629075

最新推荐文章于 2023-02-09 20:51:37 发布

阅读量283

点赞数

文章标签： java mapreduce程序

本文链接：https://blog.csdn.net/weixin_39629075/article/details/114199995

版权

本文详细介绍了如何使用Java开发MapReduce程序，涵盖了从设置HADOOP_HOME环境变量，处理Windows下的库文件问题，到创建项目并引入Hadoop依赖，编写WordMapper和WordReducer代码，再到测试执行的全过程。文中还提到了本地运行和在远程服务器上执行MapReduce作业的方法，以及配置文件的处理和Maven-Hadoop项目的创建。

摘要由CSDN通过智能技术生成

1、java开发map_reduce程序

2、配置系统环境变量HADOOP_HOME，指向hadoop安装目录(如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符)

把HADOOP_HOME/bin加到PATH环境变量(非必要，只是为了方便)

3、如果是在windows下开发，需要添加windows的库文件

1.把盘中共享的bin目录覆盖HADOOP_HOME/bin

2.如果还是不行，把其中的hadoop.dll复制到c:\windows\system32目录下，可能需要重启机器

4、建立新项目，引入hadoop需要的jar文件

5、代码WordMapper：

importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;public class WordMapper extends Mapper{

@Overrideprotected void map(LongWritable key, Text value, Mapper.Context context)throwsIOException, InterruptedException {

String line=value.toString();

String[] words= line.split(" ");for(String word : words) {

context.write(new Text(word), new IntWritable(1));

}

6、代码WordReducer：

@Overrideprotected void reduce(Text key, Iterablevalues,

Reducer.Context context) throwsIOException, InterruptedException {long count = 0;for(IntWritable v : values) {

count+=v.get();

}

context.write(key,newLongWritable(count));

}

7、代码Test：

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public classTest {public static void main(String[] args) throwsException {

Configuration conf= newConfiguration();

Job job=Job.getInstance(conf);

job.setMapperClass(WordMapper.class);

job.setReducerClass(WordReducer.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(LongWritable.class);

FileInputFormat.setInputPaths(job,"c:/bigdata/hadoop/test/test.txt");

FileOutputFormat.setOutputPath(job,new Path("c:/bigdata/hadoop/test/out/"));

job.waitForCompletion(true);

}