搭建伪分布式hadoop系统
一、搭建思路
1、软件准备
2、基础平台环境搭建
(1)VMware Workstation Pro 虚拟机安装
(2)CentOS-7-x86_64操作系统安装
(3)MobaXterm_Installer_v11.1远程登陆工具安装
3、Hadoop环境搭建
4、Hadoop环境测试
5、问题解决
二、软件准备
选择在虚拟机中搭建伪分布式hadoop集群系统,首先确定要使用哪些环境软件,使用软件准备如下(其他版本软件也可以尝试使用):
- VMware Workstation Pro 虚拟机,云盘链接:https://pan.baidu.com/s/1-fTvQ_MSN0o9xT9VqXToOw 提取码:4bbj
- CentOS-7-x86_64-Everything-1908 服务器系统,云盘链接:https://pan.baidu.com/s/12Xl2R-PAlJGPr9Hq410l1g 提取码:p4qd
- jdk-8u231-linux-x64.tar Java jdk环境安装包,云盘链接:https://pan.baidu.com/s/1h6qrNM10B6Vl-3p06lLpEg 提取码:j071
- hadoop-2.8.3.tar Hadoop文件安装包,云盘链接:https://pan.baidu.com/s/14EsLaoY1rPMYwTehDhxdvQ 提取码:mfo3
- MobaXterm_Installer_v11.1远程登陆辅助工具,云盘链接:https://pan.baidu.com/s/1F43kT3ejIZ8PLZT9KqWlDw 提取码:kqjj
- WinSCPPortable ftp 客户端文件上传工具,云盘链接:https://pan.baidu.com/s/1LfZoDopgf7FvbUrCJ1tu4g 提取码:8hbi
三、基础平台环境搭建
1、VMware Workstation Pro 虚拟机安装调试
(1)解压安装包后,双击应用程序
(2)弹出对话框,单击下一步
(3)弹出对话框,勾选同意并单击下一步
(4)根据自己需要更改安装位置(可以不修改),并单击下一步
(5)可以不检查、不晚上,单击下一步
(6)单击下一步
(7)单击完成安装
(8)单击需课程,将下载文本文件中的需课程复制进来
(9)输入永久产品许可证密钥
(10)点击输入并完成安装
(11)桌面出现图标,表示完成安装
(12)虚拟机环境设置
为便于搭建的环境适用于不同的局域网环境,我将虚拟机设置为通过NAT访问外部网络,将虚拟机内部所有系统做成一个单独的局域网环境,并关闭DHCP动态配置,规划设计网段为192.168.150.0/24,网关设置为192.168.150.2。
(13)双击打开虚拟机桌面
(14)打开虚拟网络编辑器
(15)更改设置
(16)点击设置NAT配置
(17)修改网关IP地址,并确认
(18)修改本地虚拟网络地址vmnet8地址为手工