本文章是配合厦门大学 林子雨 的《大数据技术原理与应用》使用的
本篇文章使用的环境如下:
- 虚拟机 :Ubuntu 18.04 百度网盘地址
- Hadoop : hadoop 3.3.0 阿里云网盘地址 迅雷网盘地址
- windows : win 10
- JDK : 1.8 强烈建议是1.8 阿里云网盘地址 迅雷网盘地址
JDK 已在windows中安装的,且非1.8的, 建议安装两个版本的 JDK (一个原有的,一个1.8)
0. 安装虚拟机后,配置网络
1. 在虚拟机伪分布式安装hadoop
参考林子雨老师的博客 (安装 hadoop 3.1.3)
参考林子雨老师的博客(安装 hadoop 2.6.0)
1.1 在林子雨老师的博客下安装测试成功后,修改文件core-site.xml
下图中的192.168.X.X 是虚拟机的IP地址
2. 在windows中伪分布式安装Hadoop
此处注意 windows 和虚拟机中安装的hadoop必须是同一个版本
即版本号一致
2.1 解压hadoop-3.X.X.tar.gz至目录D:\Server\Hadoop
2.2 配置环境变量
2.2.1 WIN + I,弹出如下界面,选择系统
2.2.2
2.2.3
2.2.4 新建第一个系统变量
此处变量值为 自己的hadoop解压出来的目录,输入完成后点击确定
点击确定后,再次点击2.2.3图中的新建,而后看2.2.5
2.2.5 新建第二个系统变量
此处注意变量值为虚拟机中用户名,若参考林老师的便是hadoop,否则是自己情况而定
2.2.6 点击确定
2.2.7 WIN + R ,输入cmd,回车,查看是否安装成功
输入如下命令
hadoop version
若显示如下图,便success,否则请自行百度查阅解决
2.4 查看bin目录下是否有hadoop.dll文件和winutils.exe文件
如果没有,请前往github下载,选择自己的hadoop版本下载,下载完成之后,将解压出来的属于自己版本的bin目录覆盖掉当前d:\Server\hadoop\bin目录
2.5 将2.4中出现的hadoop.dll文件复制到C:\windows\system32\目录下
2.6 重启计算机,必须重启
3. 确定本地windows是否可以访问到虚拟机中的HDFS
3.1 在虚拟机中通过命令ifconfig得到虚拟机IP地址
假设 虚拟机IP地址是 192.168.246.6
3.2 在浏览器中输入 IP:9870 便可访问到虚拟机中HDFS
此处浏览器中输入 192.168.246.6:9870