hadoop官网:http://hadoop.apache.org/
hadoop下载地址:http://hadoop.apache.org/releases.html
winutil工程地址:https://github.com/steveloughran/winutils
下载软件
安装步骤
- 解压hadoop-2.8.3.tar.gz至C:\hadoop-2.8.3。注意:不要安装在有空格的路径中
- 设置环境变量:在path添加 ;C:\Program Files\hadoop\2.8.4\bin
- 解压winutils-master.zip(我是把所有版本的内容都下载了,选择和你版本符合的内容,复制bin文件夹,覆盖到C:\hadoop-2.8.3\bin)
- 复制C:\hadoop-2.8.3\bin\hadoop.dll到C:\windows\System32下
修改C:\hadoop-2.8.3\etc\hadoop下的5个文件内容,分别如下:
- core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- hadoop-env.cmd
set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_121
设置JAVA_HOME,注意不能值不能有空格,原来的JAVA_HOME=C:\Program Files\Java\jdk1.8.0_121,用C:\Progra~1\Java\jdk1.8.0_121替换
- hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop-2.8.3/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop-2.8.3/data/dfs/datanode</value>
</property>
</configuration>
不需要手动创建文件夹,程序会自动创建文件
- mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
mapred-site.xml默认是没有,通过mapred-site.xml.template,删除后缀.template得到
- yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
启动服务
- 运行命令:c:\hadoop-2.8.3\bin>hadoop namenode -format
- 进入sbin启动服务:c:\hadoop-2.8.3\sbin>start-all.cmd