Eclipse Hadoop开发环境搭建

准备工作

1. 搭建完成的Hadoop分布式集群或者伪分布式。
2. eclipse.zip包
3. hadop-2.5.0.tzr.gz包
4. hadoop-eclipse-plugin-2.5.0.jar插件
5. 备用文件：
   hadoop.dll
   winutils.exe

文件目录

如图所示：
1. eclipse-java-neon-x86_64.zip解压及安装eclipse。
2. hadoop-2.5.0.tar.gz解压及安装hadoop在windows上。
注：此处的hadoop包需要和linux服务器上的hadoop包版本相同，否则可能会出现一些莫名奇妙的错误。
3. 另外三个文件是搭建过程中需要的插件和其他文件。

开始搭建

1. 首先完成Windows下hadoop环境变量的配置。
   
   
   如图：首先添加HADOOP_HOME，路径为Windowx下hadoop的解压路径；然后修改path变量，添加记录。
2. 将hadoop-eclipse-plugin-2.5.0.jar插件复制到eclipse/plugins目录。如图：
   
3. 开启eclipse：Windows->Preferences->Hadoop Map/Reduce添加Windows下hadoop的解压路径。如图：
   
4. Windows->Show View->Other->Map/Reduce Locations。如图：
   
5. 设置完成之后将看到如下页面。
   
   注：looc为我的一个项目，存在DFS Locations则说明以上步骤无误（存在Error是因为还未配置DFS Locarions）。
6. 点击黑色矩形圈出的指定按钮进行DFS Locations的配置。如图：
   
   
7. 右键点击DFS Locations刷新查看是否链接成功（此时hadoop分布式集群或者伪分布式需要处于开启状态）。如图：
   
   注：此处为连接成功之后所做的WordCount实例测试。创建input文件夹并上传三个.txt文档，运行WordCount.java得output文件夹中的内容，其中part-r-00000中为WordCount的结果。
   另：第一次运行MapReduce程序需要先配置HDFS路径，右键代码编辑区空白处，选择Run As->Run Configurations。如图：
   
   点击Run即可开始运行，之后便可以选择Run As->Run on Hadoop运行MapReduce程序。
   附：

package com.looc.wordcount;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

问题解决

如何存在一些问题可进行如下操作：
1. 将准备工作第五点中的两个文件复制到hadoop/bin目录下。如图：

2. 修改hadoop分布式集群或者伪分布式中core-site.xml文件。如图：

3. 修改hadoop分布式集群或者伪分布式中hdfs-site.xml文件，添加如下记录。如图：

4. 防火墙也可能成为连接不成功的原因之一。

Over