Hadoop windows本地环境安装

hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。

一、下载所需文件

1. JDK下载地址，jdk1.8下载
2. Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。
3. Hadoop windows环境编译工具，winutils下载 ，下载后解压出来

二、安装文件

1. jdk安装，jdk安装并不复杂，这里就不详细介绍了，我的安装目录是 C:Program FilesJavajdk1.8.0_151
2. hadoop安装，由于下载的hadoop文件是不用安装的，我们只需要解压出来就可以了 解压目录 D:hadoophadoop-3.1.1

三、环境变量配置

1. jdk环境变量配置，网上很多这里也就不详细说了
2. Hadoop环境变量安装，环境变量和java的安装方式一样

先新建一个HADOOP_HOME，里面变量值为 D:hadoophadoop-3.1.1

然后在Path变量值后面追加%HADOOP_HOME%in; ，至此hadoop的环境变量就配置完了。

四、配置hadoop文件

1. 进入hadoop目录下面的etc D:hadoophadoop-3.1.1etchadoop 找到 core-site.xml文件并使用编辑器打开，复制下面内容进去

   hadoop.tmp.dir /D:/hadoop/workspace/tmp dfs.name.dir /D:/hadoop/workspace/name fs.default.name hdfs://localhost:9000

2. 在找到 mapred-site.xml 文件并打开，复制下面内容进去

   mapreduce.framework.name yarn mapred.job.tracker hdfs://localhost:9001

3. 找到 hdfs-site.xml 文件并打开，复制下面内容进去

   dfs.replication 1 dfs.data.dir /D:/hadoop/workspace/data

4. 找到 yarn-site.xml 文件并打开，复制下面内容进去

   yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

5. 找到hadoop-env.cmd 文件并打开，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存。

   @rem set JAVA_HOME=%JAVA_HOME%
   set JAVA_HOME=C:Program FilesJavajdk1.8.0_151
   

注意这里会有个错误，由于我jdk安装在C盘的 program files目录下，这个文件夹有个空格，后面会报错

所以这里我们修改成 ，使用 PROGRA~1 代替

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_151

五、替换文件

解压我们之前下载的 winutils-master 文件，找到符合自己的版本，我这里找的是 D:hadoopwinutils-masterhadoop-3.0.0 进入文件夹拷贝整个bin文件替换掉 hadoop的bin文件夹，即 D:hadoophadoop-3.1.1 下面的bin

六、运行

1.运行cmd窗口，执行hdfs namenode -format。

2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。

七、上传测试

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000 来对hdfs进行操作了。

1.创建输入目录

输入命令，hadoop fs -mkdir hdfs://localhost:9000/user

hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/
 
C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上传数据到目录

输入命令, hadoop fs -put D:personaldebug.log hdfs://localhost:9000/user/wcinput
hadoop fs -put D:personalwaz.txt hdfs://localhost:9000/user/wcinput

C:WINDOWSsystem32>hadoop fs -put D:personaldebug.log hdfs://localhost:9000/user/wcinput
 
C:WINDOWSsystem32>hadoop fs -put D:personalwaz.txt hdfs://localhost:9000/user/wcinput

3.查看文件

输入命令，hadoop fs -ls hdfs://localhost:9000/user

QA常见问题：

1:启动hadoop可能提示找不到JAVA_HOME路径,是因为hadoop读取JAVA_HOME环境变量存在空格导致。

2:启动hadoop提示找不到HADOOP，是因为Hadoop环境变量没有配置好，请检查Hadoop环境变量配置。

hadoop自带的web控制台GUI

1.资源管理GUI:http://localhost:8088/；

2.节点管理GUI:http://localhost:50070/