1、java开发map_reduce程序
2、配置系统环境变量HADOOP_HOME,指向hadoop安装目录(如果你不想招惹不必要的麻烦,不要在目录中包含空格或者中文字符)
把HADOOP_HOME/bin加到PATH环境变量(非必要,只是为了方便)
3、如果是在windows下开发,需要添加windows的库文件
1.把盘中共享的bin目录覆盖HADOOP_HOME/bin
2.如果还是不行,把其中的hadoop.dll复制到c:\windows\system32目录下,可能需要重启机器
4、建立新项目,引入hadoop需要的jar文件
5、代码WordMapper:
importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;public class WordMapper extends Mapper{
@Overrideprotected void map(LongWritable key, Text value, Mapper.Context context)throwsIOException, InterruptedException {
String line=value.toString();
String[] words= line.split(" ");for(String word : words) {
context.write(new Text(word), new Int