Windows下Eclispe远程开发Mapreduce程序

1.安装插件

1).将hadoop-eclipse-plugin-2.6.0.j ar 拷贝到${MyEclispe_HOME} /plugins

2).打开MyEclispe，菜单栏->windows->Preferneces->Hadoop MapReduce,点击Browse,设置${MyEclispe_HOME}目录

2.Windows安装hadoop

1)解压hadoop-2.5.0.tar.gz到D:/根目录

2）配置hadoop的环境变量

      点击计算机—》系统属性—》高级系统配置—》环境变量—》系统变量下 ，新建——》变量名设置为HADOOP_HOME，变量值设为Hadoop的目录路径

—》点击确定键

找到Path变量，双击，在变量值的最后，加上 ;%HADOOP_HOME%\bin

配置完之后，打开cmd命令，输入 hadoop -version

点击回车之后，出现以下代码，表示配置成功

3.配置插件参数

打开myEclipse ,点击 菜单栏Window—》Open Perspective—》other—》Map/Reduce

在控制台会出现

随便空白处右键—》点击New Hadoop location

Mavreduce（V2）

host: [hostname]

port：8032            //resourcemanager 的默认端口号

 

DFS Master

host:[hostname]

port：8020

然后点击Finish结束

3.拷贝winutils.exe 和hadoop.dll到${hadoop_HOME}/bin

4.单独拷贝hadoop.dll到C:\Windows\System32

5.进入maven安装目录

1、解压apache-maven-3.0.5.tar.gz

2、配置maven环境变量

MAVEN_HOME=[maven的解压目录]

path=%MAVEN_HOME%/bin

打开cmd命令提示符  mvn --v

表示配置完成

4、修改apache-maven-3.0.5\conf\settings.xml

 <localRepository>D:repository  (仓库目录路径,选择内存较大的盘符，并创建该目录）</localRepository>

5、解压repository.tar.gz到settings.xml配置文件中指定的repository

6、在MyEclipse做出相应的配置

点击菜单栏Window—》preferences—》MyEclipse—》Maven4MyEclipse—》

 

1、Installations—》Add,找到apache-maven-3.5.0的解压目录

2、User Settings—》Browse—》找到setting.xml的目录，点击确定即可

7、创建一个Maven项目

点击菜单栏File—》New—》Other—》Maven Project

—》点击Next—》可选择项目路径

—》点击Next —》选择quickstart

—》点击Next —》在Group Id内和Artifact Id内，写入包名，可自定义

—》点击Finish完成创建

8、   修改Pom.xml文件

<dependencies>

     <dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

<version>4.10</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>2.5.0</version>

</dependency>

  </dependencies>

将此代码覆盖原文件代码

覆盖之后，查看Maven Depenencies

出现jar包即成功

9、修改JRE版本

MyEclipse默认为jdk1.5版本

在JRE处点击右键—》Build Path—》Configur Build Path

点击Add Library

点击JRE System Library

点击默认即可