MapReduce程序执行的环境

Hadoop执行MapReduce程序环境有两种：本地测试环境，服务器环境。

1、MR执行环境有两种：本地测试环境，服务器环境


服务器环境：
首先需要在src下放置服务器上的hadoop配置文件


1、在本地直接调用，执行过程在服务器上（真正企业运行环境）
a、把MR程序打包（jar），直接放到本地
b、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib
c、增加一个属性：
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
d、本地执行main方法，servlet调用MR。
e、在本地的src目录下增加hadoop的配置文件  ( core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml）


2、直接在服务器上，使用命令的方式调用，执行过程也在服务器上
a、把MR程序打包（jar），传送到服务器上
b、通过： hadoop jar jar路径  类的全限定名

本地测试环境(windows)：
在windows的hadoop目录bin目录有一个winutils.exe
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib

4、MR调用的代码需要改变：
a、src不能有服务器的hadoop配置文件
b、在调用是使用：
Configuration config = new  Configuration();
config.set("fs.defaultFS", "hdfs://node1:8020");
config.set("yarn.resourcemanager.hostname", "node1");

修改hadoop文件的权限（hadoop fs -chmod -R 777 /tmp）
在mapped-site.xml  <property>
<name>dfs.permissions</name>
<value>false</value>
  </property>

过程中遇到的一些问题
在执行mapreduce程序时报错:Permission denied: user=jelly, access=EXECUTE, inode="/tmp":root:supergroup:   
      解决之道：增加权限hadoop fs -chmod -R 777 /tmp。或者   System.setProperty("HADOOP_USER_NAME", "root");
如果在程序中得不到java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.    
      解决之道，在程序中增加   System.setProperty("hadoop.home.dir", "D:\\program files\\hadoop-2.5.1");或者添加hadoop的环境变量