Windows中安装hadoop2.7.3

环境

主机：Windows 10
Hadoop：2.7.3
Java：1.8

参考了简书 maxkibble 作者的文章

注：学习过程中遇到的问题，作为记录保存在此；在以下过程中如遇错误，还请移步至 maxkibble 查看对应解决方案，这里就不在一一列举了

步骤

1、jdk是否已存在，不存在请安装

2、下载  hadoop-2.7.3.tar.gz

地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

WinRAR解压：以管理员模式进入cmd

执行命令： WinRAR.exe e 盘符\hadoop-2.7.3.tar.gz 盘符\hadoop-2.7.3\

注：最后一个反斜杠 "\" 不能少

下载后解压至你的目录：

2.1、进入 etc/hadoop目录，进行如下更改

2.2.1 hadoop-env.cmd 设置如下

2.2.2 core-site.xml 设置

<configuration>
<property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
</property>
</configuration>

2.2.3 mapred-site.xml 设置

将 mapred-site.xml.template 复制一份或者直接将文件修改为  mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

2.2.4 hdfs-site.xml 设置

<configuration>
	<property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/Hadoop+Spark/hdfs/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
     <value>/D:/Hadoop+Spark/hdfs/data/datanode</value>
   </property>
</configuration>

2.2.5 yarn-site.xml 设置

<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

2.3  winutils设置

winutils下载地址：https://github.com/cdarlint/winutils   ，下载后解压

2.3.1、选择与 hadoop 对应版本的 hadoop.dll 与 winutils.exe 拷贝至你的hadoop  bin 目录下,如图：

2.3.2、bin文件夹下，输入hadoop version 查看你的hadoop版本

至此，hadoop配置完成了

启动

3、进入 bin 目录，输入 hadoop namenode -format , 会看到有一长串内容输出，并出现  Storage directory xxx\hdfs\data\namenode has been successfully formatted. 代表成功

3.1、进入 sbin 目录  执行 start-all

执行后会看到如下几个弹窗，控制台都没报错即成功

3.2 分别在浏览器输入  localhost:50070 与 localhost:8088 即可看到对应页面