测试在Windows下的Eclipse连接Linux的Hadoop并运行

一、在Windows在安装hadoop，并配置环境

1.解压缩到对应平台上的jar包的非中文路径中。如：D:\Data\hadoop2.7.2

2.配置环境变量

找到并点击高级系统设置，在系统变量中添加

HADOOP_HOME=D:\Date\hadoop2.7.2

在path路径中添加下面路径

D:\Data\hadoop2.7.2\

二、安装Eclipse并配置相关文件

1.在根目录下创建一个属于Java Project的文件夹并命名为MapReduce。

2.右键MapReduce，建立SourceFolder文件夹，并命名为lib。

3.把依赖包_lib文件夹全部拷贝到lib目录中，

4.全选jar，右键Build Path–>Add to Build Path

5.配置log4g文件

把log4j.properties文件复制到工程中的src文件中。

三、设置一个Wordcount.jar包，对hadoop进行测试。

1.在源文件src目录下创建一个cn.ag.WCount的包

2.在cn.ag.Wcount包下创建一个WordCountMapper类。将其内容修改如下：

package cn.ag.WCount;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class WordCountMapper extends Mapper<Object,Text,Text,IntWritable>{

	@Override
	protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		// TODO Auto-generated method stub
		
		 String lins[] = value.toString().split("\t");
		 
		 for (String line : lins) {
			 
			context.write(new Text(line), new IntWritable(1));
		} 	 
		 
	}        
}

3.在cn.ag.WCount包下创建一个WordCountReducer类。将其内容修改如下：

package cn.ag.WCount;
import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

	@Override
	protected void reduce(Text key, Iterable<IntWritable> valus,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
		// TODO Auto-generated method stub
		
		  int totalNum = 0;
		  for (IntWritable v : valus) {
			   
			  totalNum+=v.get();
			
			
		}
		    context.write(key,new IntWritable(totalNum)); 
	}
      
}

5.在cn.ag.WCount包下创建WorldCountDriver类。将其文件内容修改如下：

package cn.ag.WCount;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WorldCountDriver {

	public static void main(String[] args) throws Exception {
		// TODO Auto-generated method stub
       Configuration conf = new Configuration();
       Job job = Job.getInstance(conf);
       job.setJarByClass(WorldCountDriver.class);
       job.setMapperClass(WordCountMapper.class);//Class
       job.setMapOutputKeyClass(Text.class);
       job.setMapOutputValueClass(IntWritable.class);    
       job.setReducerClass(WordCountReducer.class);
       job.setOutputKeyClass(Text.class);
       job.setOutputValueClass(IntWritable.class);
       FileInputFormat.setInputPaths(job,new Path(args[0]));
       FileOutputFormat.setOutputPath(job, new Path(args[1]));
       boolean result = job.waitForCompletion(true);
       System.out.println("结束");
       System.exit(result?0:1);      
	}

四、运行Count程序

1.现将hadoop.dll复制到C盘中的Windows目录下的System32目录下

2.在src下创建在cn.ag.WCount包，并右键创建一个新的file文件，命名为word.txt。

3.对word.txt文件进行编辑，输入

张五	李四	王五	赵六 
张三	李四	王五	赵六 
张三	李四	王七	赵六 
张五	李三	王五	赵八 
张三	李三	王五	赵六

4.找到并运行WorldCountDriver类，若报错则进行下一步

5.在左侧工具栏中找到word.txt文件并右键，查看Properties，对Location进行复制，并修改others，使用UTF-8。

6.在WorldCountDriver类文件中右键，点击Run As，并查看Run Configurations，点击上边的Arguments，在Program arguments中添加复制的路径，修改如下；

D:\eclipse\project\MapReduce\src\cn\ag\WCount\Input\word.txt
D:\eclipse\project\MapReduce\src\cn\ag\WCount\output

7.对WorldCountDriver文件进行运行，若不能出结果，则需要重启一次电脑，在进行运行。