Windows平台下载安装Hadoop

Hadoop配置前需要先安装并配置JDK，具体操作可参考文章 win10系统安装jdk8

1、下载Hadoop压缩包(此处以hadoop-2.6.5为例)
可从官网直接下载：hadoop-2.6.5
官网下载速度稍慢，若网络较差，可从CSDN资源下载：快速下载 hadoop-2.6.5 (此资源已包含下面步骤2中的配置文件，若以此方式下载，可跳过步骤2)

2、下载Windows系统下Hadoop运行所需要的配置文件
地址：https://github.com/sardetushar/hadooponwindows

3、解压并替换文件
将两个压缩包分别解压，并将hadooponwindows-master文件夹下的bin和etc文件夹替换hadoop-2.6.5目录中对应的文件夹，将bin目录下的hadoop.dll文件复制到本机windows\system32目录下

4、配置hadoop-env.cmd
修改hadoop-2.6.5\etc\hadoop\hadoop-env.cmd中的JAVA_HOME，
将JAVA_HOME的值修改为本机jdk安装时配置的目录，若路径中含有Program Files，则用PROGRA~1替换，例如：
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151

5、确认是否配置成功
以管理员身份运行cmd，然后在命令窗口输入 hadoop version，确认版本信息是否正确

6、创建HDFS工作目录(此处以C:\software\hadoop\hdfs为例)
新建文件夹 C:\software\hadoop\hdfs

7、修改hadoop-2.6.5\etc目录下的配置文件
(1)core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(2)mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(3)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/C:/software/hadoop/hdfs/namenode</value> 此处路径应与步骤6中创建的工作目录路径相一致，集群运行时自动创建namenode文件夹，不需手动创建
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/C:/software/hadoop/hdfs/datanode</value> 此处路径应与步骤6中创建的工作目录路径相一致，集群运行时会自动创建datanode文件夹，不需手动创建
</property>
</configuration>
(4)yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

8、格式化HDFS
使用管理员身份运行cmd，进入hadoop-2.6.5\bin目录，执行命令：
hdfs namenode -format (注：format前面的是中文横线，不是英文)
格式化操作完成后，若namenode文件夹里自动生成了current文件夹，则格式化成功

9、启动Hadoop
在hadoop-2.6.5\sbin目录下以管理员身份运行start-all.cmd启动集群

10、使用jps查看Hadoop进程
使用管理员身份运行cmd，在命令窗口输入jps，查看进程