第一个hadoop程序-WordCount

首先说明一下环境：我在前面的博客中搭建的hadoop平台，具体为运行在win7上的eclipse3.3连接到位于ubuntu14.04的hadoop集群，至于具体的搭建方法请参见以前的博客。下面开始在eclipse中调试WordCount程序:

打开eclipse，新建一个Map/Reduce Project

 
 

 
 

在Map/Reduce Project工程下，建立一个java文件，命名为WordCount，代码如下：

WordCount程序的源代码，可以在hadoop包的src文件夹中找到

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.*;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.util.*;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.Reducer.Context;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.fs.Path;

 

public class WordCount {

public static class MyMapper extends Mapper<Object,Text, Text,IntWritable>{

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

 

public void map(Object key, Text value,Context context) throws IOException,InterruptedException{

StringTokenizer st=new StringTokenizer(value.toString());

while(st.hasMoreTokens()){

String str=st.nextToken();

word.set(str);

context.write(word, one);

System.out.println(str+"="+one.get());

}

}

}

 

public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{

private IntWritable result = new IntWritable();

public void reduce(Text key,Iterable<IntWritable> values ,Context context) throws IOException,InterruptedException{

int sum=0;

for(IntWritable val:values)

{

sum+=val.get();

}

System.out.println(key+"="+sum);

result.set(sum);

context.write(key,result);

}

 

}

 

 

 

public static void main(String [] args) throws Exception

{

Configuration conf= new Configuration();

 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

    if (otherArgs.length != 2) {

      System.err.println("Usage: wordcount <in> <out>");

      System.exit(2);

    }

   Job job=new Job(conf,"word count" );

   job.setJarByClass(WordCount.class);

   job.setMapperClass(MyMapper.class);

   job.setCombinerClass(MyReducer.class);

   job.setReducerClass(MyReducer.class);

   

   job.setOutputKeyClass(Text.class);

   job.setOutputValueClass(IntWritable.class);

   

    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

    System.out.println("运行啦");

    System.exit(job.waitForCompletion(true) ? 0 : 1);

 

}

}

这个程序需要输入文件和输出文件（输入文件会自动生成），因此我们在hdfs中建立输入文件，通过XShell进入NameNode节点，执行如下命令：

mkdir ~/input

cd ~/input

echo “hello world”  >> 1.txt

echo “hello hadoop” >>1.txt

echo “hello java”  >>2.txt

echo “hello c” >>2.txt

执行完这些命令，input中有两个txt文件，内容分别为：

 

 

之后，使用hadoop dfs -put ~/input inin命令将该文件复制到hdfs系统中。

然后就可以运行了，但是运行的时候需要参数，因此进行如下操作设置参数：

 
 

 
 

 

注意，上图中的Program arguments中的内容就是程序运行需要的参数，多个参数之间使用空格就可以，当然换行也可以。

这个程序需要输入输入文件和输出文件在hdfs中的位置，这里，小编的输入输出（输出会自动生成）如图。

到这里，点击对话框下面的Run就可以运行了。

注意：

可能会有的问题：

第一个问题：

org.apache.hadoop.security.AccessControlException:Permission denied:user=xxx,access=WRITE,incode=”hadoop”

这是权限问题，通过Xshell进入namenode节点，先关闭hadoop服务，在修改hadf-site.xml文件，添加如下内容（注意，对hdfs-site.xml的修改要同步到其他所有节点，不然集群无法启动）

 

然后，启动hadoop服务，重新运行WordCount程序，bug消失。

第二个问题：

 

Hadoop错误锦集http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=22312037&id=4095491