Windows10安装搭建hadoop伪分布式-总结（亲测可行）

写在前面：

本人最近因课程作业需要安装hadoop。hadoop有三种安装模式，即单机模式，伪分布式，分布式。伪分布式是在一台电脑上模拟多台电脑进行分布式MapReduce操作，符合课程要求，相对难度低，因此为之。

下面是一些高质量的blog，一步步照着来。然而，本人还是遇到了一些坑，因此做详细补充说明，刚刚搭建成功了，亲测可行。

 

1.Windows安装搭建hadoop伪分布式--具体流程：

windows环境搭建hadoop伪集群 - 简书
https://www.jianshu.com/p/1e7e9a70262d

 

2.这里附上一些可能会用上的链接：

如何配置Java环境变量-百度经验
https://jingyan.baidu.com/article/fd8044fa2c22f15031137a2a.html

如何查看jdk版本-百度经验
https://jingyan.baidu.com/article/ab69b270b8ae352ca7189f20.html

 

3.配置java环境变量（有几处坑，当心）

3.1 配置java环境变量时，最好在“环境变量”中添加“JAVA_HOME”这个变量名（当然，附上你的jdk文件目录）；然后在“PATH”中，把“JAVA_HOME”添加上去，并加上bin，也就是写成这样，“%HADOOP_HOME%\bin”。

这个知识点是关于环境变量的。本人之前的java环境变量是“C:\Program Files\Java\jdk1.8.0_161\bin”，也就是说，没有用“JAVA_HOME”作为变量名，理论上是一样的效果，但是就是安装不上去（cmd命令行里，输入"hadoop version"没有反应，说输入命令无效）。

另外，尤其注意bin末尾不要有“;”。记得几年前添加环境变量的时候，“PATH”中有一长串不同的环境变量，“；”是作为分隔符的。类似这样：

 

可能是Windows10系统更新了。现在分行来显示环境变量。

 

因此，注意bin末尾不要有“;”

 

3.2 将环境变量JAVA_HOME值中的Program Files替换为Progra~1。如：C:\Progra~1\Java\jdk1.8.0_161。

这一点也是简书那个blog提到的。下面这个blog做了详细说明，可参考。

Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\conf\hadoop-env.cmd错误的解决办法（图文详解） - 大数据和AI躺过的坑 - 博客园
https://www.cnblogs.com/zlslch/p/8580446.html

 

3.3 环境目录的还可以参考这个blog，说明详细。

【大数据】10分钟搞定Windows环境下hadoop安装和配置 - 符智生的专栏 - CSDN博客
https://blog.csdn.net/CSDN_fzs/article/details/78985586

 

3.4 如果还是环境目录有问题，注意查看你的hadoop目录下，etc/hadoop/hadoop-env.cmd, 用文档编辑器打开它。

（图片截自：https://blog.csdn.net/CSDN_fzs/article/details/78985586）

注意查看 set JAVA_HOME这一栏的情况，一定要和你的JAVA_HOME一致。（建议用JAVA_HOME作为变量名，见本文的3.1）

 

这排了几个坑之后，应该就没问题了。按照简书那个blog，顺利搭建。

 

写在后面：

搭建好环境，还只是第一步。还需要，在windows10搭建hadoop伪分布式，然后在eclipse运行java代码，来执行MapReduce操作。具体的排坑经历，见下一个blog：

Windows10 Eclipse安装hadoop插件+运行hadoop代码示例（亲测可行） - Zhou_Dao的博客 - CSDN博客