Windows下Eclispe远程开发Mapreduce程序

1.安装插件(方便管理mapreduce文件)
1).将hadoop-eclipse-plugin-2.6.0.jar 拷贝到${MyEclispe_HOME} /plugins
2).打开MyEclispe，菜单栏->windows->Preferneces->Hadoop MapReduce

2.Windows安装hadoop
1)解压hadoop-2.5.0.tar.gz到D:/根目录
右键WinRar–》属性–》兼容性-》勾选 以管理员运行此程序
打开==》浏览到到hadoop-2.5.0.tar.gz ==>解压到 D:/根目录

2）配置hadoop的环境变量

HADOOP_HOME=【hadoop的解压目录】    //新建项
Path=%HADOOP_HOME%\bin;//在原有配置的最前面
;%HADOOP_HOME%\bin //在原有配置的最后面
;%HADOOP_HOME%\bin;   //在原有位置的中间插入

cmd命令提示符
hadoop -h

Error: JAVA_HOME is incorrectly set.
Please update D:\green\hadoop-2.5.0\conf\hadoop-env.cmd

Definde Hadoop Location

3.配置插件参数
Mapreduce（V2）
host:[hostname]
port：8032 //resourcemanager 的默认端口号

DFS Master
host:[hostname]
port：8020

4.拷贝winutils.exe 和hadoop.dll到${hadoop_HOME}/bin
5.单独拷贝hadoop.dll到C:\Windows\System32

6.创建工程的两种方式
1）使用插件，自动导入jar包，使用模板创建mapper reducer
driver类
2）创建maven工程
2-1）解压apache-maven-3.0.5.tar.gz
2-2) 配置maven环境变量
MAVEN_HOME=[maven的解压目录]
path=%MAVEN_HOME%/bin
2-3）命令提示符 mvn –v
Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)
3）修改apache-maven-3.0.5\conf\settings.xml
//依赖包的文件指定下载到这里
D:\repository

 4)解压repository.tar.gz到settings.xml配置文件中指定的repository

 5）配置使用自己解压的maven

 6）将${hadoop_Home}/ect/hadoop/log4j.properties拷贝到项目的src目录

在linux中的hadoop安装目录下的etc/hadoop/hdfs-site.xml添加如下配置
，重启HDFS的进程


dfs.permissions
false