windows安装hadoop及配置

总结下windows下安装hadoop环境,方便下次使用,本次的麻烦就是下次的方便

一、环境准备

1、JDK安装2、Hadoop安装包（官网下载）
2、下载hadoop安装包
3、准备hadoop windows的插件

二、安装配置

1、以管理员身份解压Hadoop安装包

2、配置Hadoop环境变量，
我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量，新建HADOOP_HOME，然后将%HADOOP_HOME%\bin添加到Path中。

3、新建data
（下面建俩子文件夹namenode和datanode）和tmp目录，

4、修改启动类 hadoop-env.cmd，

主要是设置JAVA_HOME的路径，我的文件目录在 D:\modules\hadoop-2.7.7\etc\hadoop，（这里注意一下：如果jdk路径中有“Program Files”，则将Program Files改为 PROGRA~1，否则会报错）

5、修改配置文件（core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml）
（1）core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

（2）hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/modules/hadoop-2.7.7/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/modules/hadoop-2.7.7/data/datanode</value>
</property>
</configuration>

（3）mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

（4）yarn-site.xml

 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>arg.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
</configuration>

6、启动格式化HDFS
首先，hadoop version，查看是否能正常运行，

然后，执行 hdfs namenode -format

格式化之后，namenode文件里会生成一个current文件，则格式化成功。

三、Hadoop启动

在cmd中执行 start-all.cmd 命令，启动Hadoop，

四、HDFS操作测试

安装好了Hadoop环境，接下来我们就敲下hadoop命令，上传几个文件操作实战一下。1、创建目录hadoop fs -mkdir hdfs://localhost:9000/my/hadoop fs -mkdir hdfs://localhost:9000/my/testinput
2、上传文件hadoop fs -put E:\test01.txt hdfs://localhost:9000/my/testinputhadoop fs -put E:\test02.txt hdfs://localhost:9000/my/testinput
3、查询文件hadoop fs -ls hdfs://localhost:9000/my/testinput

五、管理页面Hadoop自带了web UI管理页面，

1、资源管理（localhost:8088）
2、节点管理（localhost:50070）
到此就安装为止了。