Maven + Hadoop + Ecilips环境配置（Win7）

 1.MAVEN 环境配置

1.1Maven简介

1.2Maven下载

        1、由于Maven为开源软件，可在Maven官网自行下载：点击打开链接

        2、由于采用Win环境需要下载xxxxbin.zip文件（Linux可下载.tar.gz）

             下载完成后可进行解压（建议解压在中文目录下），解压后可见如下目录结构：

       

         解压结束后进行环境变量配置如下：

                                 

         打开Win下的Dos窗口进行安装检测如下图表示安装成功：

2.1本地Eclips安装Maven插件安装

    1、打开Eclips 依次打开 Help->Install new Software

 写入网址：http://download.eclipse.org/technology/m2e/releases

2.安装成功后进入Windows->Preferences 进入如下配置界面

至此Maven环境配置成功。

 2.Hadoop 环境配置

        在此配置之前假设你已配置好Hadoop集群。

        2.1  用Maven创建一个标准化的Java项目，此处你可采用两种方法，一是通过Eclips中Maven插件进行图像化创建此处不多讲，二是采用命令行窗口。具体Maven使用可参考 Maven使用。

mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.gy.myhadoop.mr -DartifactId=myHadoop -DpackageName=org.gy.myhadoop.mr -Dversion=1.0-SNAPSHOT -DinteractiveMode=false

使用DOS窗口在一个英文路径下，执行上述命令：

如绿色英文所示Build Success. 

2.2通过DOS进入刚才所构建的项目目录内部执行：（cd myhadoop）

mvn clean install  //下载所需要的依赖

如下图所示 Build Success：

2.3 启动Eclips，导入刚才创建的项目。

导入时选择：Existing Maven  Project,如下所示：

2.4 修改项目下的pom.xml,增加Hadoop依赖。如下所示

在pox.xml配置如下：本处采用hadoop-1.2.1,可自行更改

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>org.gy.myhadoop.mr</groupId>
  <artifactId>myHadoop</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>myHadoop</name>
  <url>http://maven.apache.org</url>
  <dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>1.2.1</version>
</dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
  </dependencies>
</project>

2.5 DOS窗口再次进入之前提到的myHadoop目录运行：

mvn clean install

更新安装依赖，程序执行后依旧出现同上类似的提示信息，在贴一张图吧。

依旧是明艳的绿字！！！！SUCCESS

更新依赖后，需要在Eclips 中refesh 一下项目。在项目中查看Maven Dependencies, 看到数量庞大的依赖~~

3.本地从Hadoop集群环境下载Hadoop配置文件

（本人在Hadoop集群采用的是,三台虚拟机，采用centos 6.5 + hadoop1.2.1+ jdk1.8）

从hadoop急群众下载以下三个配置文件：

core-site.xml                      hdfs-site.xml                      mapred-site.xml

分别配置如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
 <property>
         <name>hadoop.tmp.dir</name>
         <value>/sof/hadoop/tmp</value>
 </property>
 <property>
 	 <name>fs.default.name</name>
 	 <value>hdfs://192.168.183.100:9000</value>
  </property>
</configuration>

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
	<property>
	<name>dfs.http.address</name>
	<value>192.168.183.100:50070</value>
	<description>
	The address and the base port where the dfs namenode web ui will listen on.
	If the port is 0 then the server will start on a free port.
	</description>
</property>
  <!-- NameNode元数据的存储位置 -->
	<property>
                   <name>dfs.name.dir</name>
                   <value>${hadoop.tmp.dir}/hdfs/name</value>
        </property>
   <!-- DataNode的数据存储位置 -->
        <property>
                    <name>dfs.data.dir</name>
                    <value>${hadoop.tmp.dir}/hdfs/data</value>
        </property>
 <property>
 	<name>dfs.replication</name>
 	<value>2</value>
 </property>
</configuration>

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
        <name>mapred.job.tracker</name>
        <value>192.168.183.100:9001</value>
 </property>
</configuration>

此外为了方便连接，配置Windows 本地hosts 文件

目录如下：

C:\Windows\System32\drivers\etc
配置
192.168.183.100 master

备注：错误

PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1855988496\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1855988496\.staging to 0700