windows环境hadoop安装使用--hadoop(一)

windows环境hadoop安装使用–hadoop(一)

（1）准备

java环境，需要注意的是路径最好不要有空格，如果是默认安装，Program Files可以使用PROGRA~1代替。

JAVA_HOME：C:\PROGRA~1\Java\jdk1.8.0_201

（2）下载hadoop

建议下载2.7.x版本，后续hive，spark都可适配此版本。
历史版本下载：https://archive.apache.org/dist/hadoop/common/

（3）下载winutils

下载winutils，内容是别人编译好的hadoop的windows版本二进制文件。
地址：https://github.com/steveloughran/winutils

因为原有的bin目录下没有文件(winutils + hadoop.dll)
注：替换的文件版本要与下载的Hadoop保持对应(若无匹配，尽量版本相近)

（4）配置hadoop文件

1. 环境变量，在path中添加路径
   
   在路径 D:\Apache\hadoop\hadoop-2.7.6\etc\hadoop 下：

2. core-site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

3. hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
  <property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/D:/Apache/hadoop/hadoop-2.7.6/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/D:/Apache/hadoop/hadoop-2.7.6/data/datanode</value>
  </property> 
  <property>
    <name>dfs.namenode.http-address</name>
    <value>127.0.0.1:50070</value>
  </property>
</configuration>

4. 将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

5. yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

6. hadoop-env.cmd（设置JAVA_HOME的值）

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_201

7. 在 D:\Apache\hadoop\hadoop-2.7.6 添加data文件夹，并在data下新建namenode，datanode子文件夹。
   

（5）运行hadoop

1. 进入 D:\Apache\hadoop\hadoop-2.7.6\bin 目录，以管理员方式cmd运行命令：hdfs namenode -format
   

2. 进入 D:\Apache\hadoop\hadoop-2.7.6\sbin 目录，以管理员方式cmd运行命令：start-all.cmd
   会同时开启四个进程，表示已经运行成功
   

3. 测试是否开启成功：输入命令jps
   

4. 在浏览器地址栏中输入：http://localhost:8088，查看集群状态
   

5. 在浏览器地址栏中输入：http://localhost:50070，查看Hadoop状态