eclipse远程运行Hadoop程序

环境:
本机:win10
虚拟机:Centos6.9
Hadoop:2.5.2
eclipse:java ee 4.9.0
写好的程序每次打包上传hadoop是很繁琐的,而且有时候可能因为一个符号反复打包也挺伤肝的,所以要搭建hadoop远程运行环境,执行mr程序像普通的java程序一样.

一.配置本地环境

1.解压hadoop-2.5.2.tar.gz到本地，如：D:\hadoop-2.5.2

2.配置环境变量 HADOOP_PATH=D:\hadoop-2.5.2
path追加%HADOOP_HOME%\bin

3.下载windows平台的hadoop连接(下载winutils.exe将其放在hadoop-2.5.2\bin下).

4下载hadoop-eclipse-plugin-2.5.12jar，并把它放到 你的eclipse文件夹下\plugins 目录下
.
5.重启eclipse

如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。

二.配置Map/Reduce Locations

打开Windows—Open Perspective—Other，选择Map/Reduce，点击OK，控制台会出现：

右键 new Hadoop location 配置hadoop：输入

Location Name，任意名称即可.

配置Map/Reduce Master和DFS Mastrer，Host为虚拟机IP地址;Port配置成与core-site.xml的设置一致即可。

如我的core-site.xml为

<configuration>
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/zzti/data/hadoop_tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://zzti:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <property>
      <name>ha.zookeeper.quorum</name>
      <value>zzti:2181</value>
    </property>

</configuration>

我的mapred-site.xml

<property>       
          <name>mapreduce.framework.name</name>      
          <value>yarn</value>   
  </property>    
 <property>     
        <name>mapreduce.jobtracker.http.address</name>                        <value>zzti:50030</value>    
  </property>  
 <property>        
         <name>mapreduce.jobhistory.address</name>
        <value>zzti:10020</value>  
</property> 
  <property>      
                <name>mapreduce.jobhistory.webapp.address</name>   
                <value>zzti:19888</value>  
  </property>

所以,我的配置内容如下:

点击"Finish"按钮，关闭窗口。

点击左侧的DFSLocations—>master （上一步配置的location name)，如能看到hdfs列表，表示安装成功(虚拟机的防火墙一定要关闭)

关闭防火墙root账户

1. 永久性生效

开启：chkconfig iptables on

关闭：chkconfig iptables off

2. 即时生效，重启后失效

开启：service iptables start

关闭：service iptables stop

三.执行mr程序
wordcount实例:
File—>Project，选择Map/Reduce Project

输入项目名称WordCount等。在WordCount项目里新建class，名称为WordCount，代码如下：

import java.io.IOException;
import java.util.StringTokenizer;


import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class WordCount {

  public static class Job2Mapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
      
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  
  public static class Job2Reducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      System.out.println(key.toString()+sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
	  Job job = new Job();
      job.setJarByClass(WordCount.class);
      job.setJobName("Job2 MapReduce");
      FileInputFormat.addInputPath(job, new Path("hdfs://192.168.29.3:9000/data/input/work4"));
      FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.29.3:9000/data/zzti/lec/out"));
      job.setMapperClass(Job2Mapper.class);
      job.setReducerClass(Job2Reducer.class);
      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(IntWritable.class);
      System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

直接在工程上右键点击run,至于用 Java Application还是Run on Hadoop我试的没有区别.这里我用的是java Application

如果没有意外会爆出这样的bug:
Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
…
…
…

Windows的唯一方法用于检查当前进程的请求，在给定的路径的访问权限，所以我们先给以能进行访问，我们自己先修改源代码，return true 时允许访问。我们找到hadoop源代码，hadoop-2.5.2-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project，然后修改606行为return true如图所示：

NativeIO.java所在位置:

重新执行可能就成功了,刷新hdfs就可以看到输出结果了

到此,教程基本上结束了.远程运行hadoop还是很有用的,代码修改方便很多,还可以写println,对程序的执行有明显的判断,对hdfs的操作也方便很多,等等好处吧.
如果有什么讲解错误或解决不了的问题欢迎联系我邮箱lkinga@qq.com
如果觉得这篇文章写的可以,可以扫码领取支付宝红包,也是对我的支持.
[图片]

其它bug:

在看hadoop in action 的时候，关于hdfs的操作地方，抄写代码PutMerge到eclipse上，出现了错误
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现下面提到的错误:
Wrong FS: hdfs://192.168.96.131:9000/user/hadoop, expected: file:///
…
…
…
然后，上网查找了一下这个错误，说是将core-site.xml 和hdfs-site.xml拷贝到项目里去就可以，原因是访问远程的HDFS 需要通过URI来获得FileSystem。如图: