Windows 下配置 Eclipse 连接 Hadoop 开发环境

最新推荐文章于 2024-09-08 12:31:58 发布

人在^O^旅途

最新推荐文章于 2024-09-08 12:31:58 发布

阅读量2.3k

点赞数

分类专栏：大数据文章标签： windows hadoop hadoop集群

大数据专栏收录该内容

13 篇文章 1 订阅

订阅专栏

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn

小站博文地址：Windows 下配置 Eclipse 连接 Hadoop 开发环境，欢迎原站访问~

学习更多，请访问系列文章：

1. VMware Redhat网络配置

2. Hadoop 三台主机集群搭建详解

3. Windows 下配置 Eclipse 连接 Hadoop 开发环境

学习本篇之前，首先需要搭建Hadoop集群环境，具体请参见：Hadoop 三台主机集群搭建详解

在上一篇Hadoop 三台主机集群搭建详解，已经搭建起Hadoop集群，但是要开发调试MapReduce程序，还是在Windows下比较方便和舒服。成功配置这个环境，花费了我好几个晚上，先记录如下，方便后来学习的人：

环境及配置：

Eclipse选择

非常重要，至少我是在这花费了很多时间，几乎试遍了所有的eclipse版本，都不成功，最后选择了SpringSource Tool，真的很好用，下载地址：http://www.springsource.org/downloads/sts

Cygwin

hadoop是基于Linux平台的，如其启动，关闭配置需要在Linux命令行中执行，cygwin是用来模拟Linux下的命令行工具。安装地址：http://cygwin.com/install.html

Hadoop Eclipse插件

不建议使用Hadoop自带的，不好用，如果使用SpringSource Tool的话，请使用hadoop-eclipse-plugin-0.20.3-SNAPSHOT，下载地址：https://issues.apache.org/jira/browse/MAPREDUCE-1280

预先配置

1. 安装Cygwin，这个只要一路确定就行了，不过中间千万别停顿。

2. 配置Windows Hosts文件，为了DNS解析寻址用

方法：进入C:\Windows\System32\drivers\etc，找到hosts文件，编辑添加hadoop集群配置的hosts文件相关信息如下：

192.168.40.5　　　　master

192.168.40.6　　　　slave1#非必须#

192.168.40.7　　　　slave2#非必须#

安装配置：

① 解压下载的SpringSource Tool到D:\\STS，将hadoop-eclipse-plugin-0.20.3-SNAPSHOT放到：D:\STS\sts-2.9.1.RELEASE\plugins

② 点击STS.exe，启动SpringSource Tool(一下简称Eclipse)，如果在Project Explorer中出现DFS Locations图标，则说明安装正确，如图：

③ 之后，点击Windows-->Preferrence-->hadoop map/reduce, Brower 选择下载的hadoop-0.20.2所在的路径：

④ 配置相关参数，点击 Windows-->Show View -->Other --> Map/Reduce Location，打开Hadoop的MapReduce View

点击Ok之后，出现如下图

⑤ 上一步你不应该看到hadoopLoc, 应该什么都没有，右键点击空白处-->New Hadoop Location, 你会看到一个填写MapReduce Location参数的一个界面：

其中：

Location Name：

这个不用在意，就是对这个MapReduce的标示，只要能帮你记忆即可

Map/Reduce Master 部分相关定义：

Host：上一节搭建的集群中JobTracker所在的机器的IP地址

port：JobTracker的端口

两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口

DFS Master部分：

Host：就是上一节集群搭建中Namenode所在机器IP

Port：就是namenode的端口

这两个参数是在 core-site.xml里fs.default.name里面的ip和端口

User Name：

就是搭建Hadoop集群是所用的用户名，我这里用的是root

⑥ 填写完以上信息以后，关闭Eclipse，然后重新启动。

为什么这么做呢？因为如果不重新启动，Advanced Parameters里，有些重要的选项不能显示，重启后，来配制Advanced Parameters信息：

可看到大部分选项都已经预设值好了，其中有一下几个选项，必须注意填写，其他的选项，要么默认，要么会根据我们填写的以下几个选项自动修改：

dfs.replication:

这个这里默认是3，但是要根据你的Datanode的个数来定，如果你仅有2个datanode，那么就写2，如果只有一个，就写1，大于或者等于3个，写3

hadoop.tmp.dir:

这个要跟上节建立的Hadoop集群配置中core-site.xml 中的hadoop.tmp.dir设置一样，上节填写的是/tmp/hadoop-root，这里也如是填写

hadoop.job.ugi:

填成root,Tardis，其中root是我们的用户名，后边的",Tardis"一定要这么写，不能改

这些都填写完了之后，点击保存，重新启动Eclipse，会发现，很多Advanced Parameters里的好多选项都根据hadoop.tmp.dir重新进行了设置。

(2012.10.26修改：现在又用hadoop1.0.3，此选项没有了)

⑦ 重新启动后，在Project Explorer中，会有如下显示：

注意，第一次初始化打开，并不会有user, input, output 这些文件夹，之后红圈圈出的部分，也没有job_local_0001(1).如果是这样显示说明你已经连接成功，否则，展开所有tmp文件夹，会发现最后有错误信息提示。

2012.10.26修改：

hadoop1.0.3此时还会出错，是plugin中jar包不够，可做如下修改：

1.打开Eclipse Plugins中的hadoop-eclipse-plugin-1.0.0.jar，发现只有发现只有commons-cli-1.2.jar和hadoop-core.jar两个包，将%HADOOP_HOME%/lib下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.8.8.jar 和 jackson-mapper-asl-1.0.8.jar五个jar包打入hadoop-eclipse-plugin-1.0.0.jar中。

2.修改hadoop-eclipse-plugin-1.0.0.jar中META-INF目录下的MANIFEST.MF，将classpath修改为以下内容：Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

3.重启Eclipse即可。

⑧ 在Eclipse中编写调试第一个Hadoop的HelloWorld程序：wordcount

建立Map/Reduce 工程

定义WordCount.Java类

这里，我下载了Hadoop源码，直接拷贝了其WordCount.java文件，代码如下：

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

    public static class TokenizerMapper extends
            Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            StringTokenizer itr = new StringTokenizer(line);
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken().toLowerCase());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args)
                .getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: wordcount <in> <out>");
            System.exit(2);
        }
        Job job = new Job(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

为了使程序成功运行，我们需要做一下工作

设置输入：

在命令行中，像hadoop中添加一个文本文件：

hadoop fs -mkdir /input #在HDFS用户根目录下建立input文件夹

hadoop fs -put test.txt /input/ #向input文件夹里放入所在路径的test.txt文件

该步骤也可以在Eclipse中建立，首先右键点击Project Explorer中大象图标下第一个没有名字的文件夹，点击 Create New Directory，创建input文件夹，后再右键该文件夹，上传test.txt文件。此时到hadoop DFS中查看，也会发现创建成功。

Eclipse中设置输入参数

设置WordCount.java的执行参数如图

在Eclipse中执行

如图，点击 Run on Hadoop

在控制台，会有以下输出

OK，至此，Congratulations，你已经建立起自己在Windows中Eclipse下进行Hadoop MapReduce开发的基本环境设置工作，并且输出了一个属于自己的HelloWorld程序，并且稍微了解了一些hadoop日志分析的信息，你已经开始进入Hadoop的世界，剩下的，就是要不断地深入学习了。

接下来，本来打算将Hive，HBase，Fuse等Hadoop工程相关的配置过程都详细的记录，但是现在都还用不到，所以就打算先搁下，开始读Hadoop源码，本身以前也没有读源码的经验（以前做Salesforce CRM云计算，是不开源的），也会将一步一步学习的过程记录并分享。从Configuration类读起，依旧立此存照，必须说到做到。

转载注明出处，博客园石头儿尤其说给 Linux 公社听，没见过你们这么无耻的人！转载之后，不仅原转载文章被变成你们的，连引用的自己的文章，也都一并给你们摘抄过去变成你们的了。