本文使用虚拟机搭建Hadoop完全分布式环境,并基于分布式环境运行上一篇WordCount示例。
一、创建虚拟机
1. 下载并安装VMware Workstation
去官网下载,我这里下载的是16.1.1。
2. 安装Centos虚拟机
1)安装虚拟机
去官网下载,我这里下载的是CentOS7。
网上有许多安装教程,这里就不细说了。
2)克隆虚拟机
安装好一个虚拟机后,基于此虚拟机克隆出2个虚拟机,克隆时选择创建完整克隆。
一共产生了3个虚拟机,作为分布式集群。
3)查看虚拟机IP
克隆出的2台虚拟机MAC地址也是从原虚拟机copy的,需要先修改他们的MAC地址,设置 -> 网络适配器 -> 高级 -> MAC地址生成。
查看虚拟机IP:
ip addr
产生的3台虚拟机的IP分别为:
192.168.15.128
192.168.15.131
192.168.15.132
3. 配置虚拟机
1)修改hostname
在3台虚拟机组成的分布式集群中,一台为master机器,另外两台为slave机器,master机器名称为hadoop1,两台slave机器名称分别为hadoop2和hadoop3。
修改主机名称:
hostnamectl set-hostname hadoop1
查看主机名称是否修改成功:
hostname
2)修改hosts
修改hosts文件:
vi /etc/hosts
添加三台机器的ip及对应名称:
127.0.0.1 localhost
192.168.15.128 hadoop1
192.168.10.131 hadoop2
192.168.10.132 hadoop3
另外也需要把上述内容配置到宿主windows系统的hosts文件中,在windows系统中可以通过虚拟机名称来访问虚拟机。
3)关闭防火墙
若虚拟机不关闭防火墙,在浏览器中访问hadoop集群时,会出现无法访问的情况。
关闭防火墙:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机