需要的安装包:
1.jdk压缩包
2.hadoop压缩包
请前往百度云上上下载相关安装包(密码:8op1)
开始搭建hadoop集群
一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙
1.因为默认的虚拟机主机名都是ubuntu,所以为了便于虚拟机的识别,创建完成虚拟机后我们对虚拟机名进行修改,我们把用于主节点的虚拟机名称设为master(按自己的喜好创建),把用于从节点的虚拟机名称设为slave1
修改主机名的命令:sudo gedit /etc/hostname
把原主机名ubuntu改为master(在从主机上则改为slave1)
2.为了虚拟机之间能ping通,需要修改虚拟机的ip地址(这里以在master机器操作为例子,从节点的虚拟机也要进行一致的操作)
命令:sudo gedit /etc/hosts
把/etc/hosts中yangcx-virtual-machine修改为刚刚改过的主机名master,同时将前面的ip地址改为实际的ip地址
怎么知道自己虚拟机的ip地址?
命令:ifconfig -a
上图红框标记的就是虚拟机的真实ip地址,因此我们把/etc/hosts中的内容修改为:
slave1的ip地址就是从虚拟机slave1的真实ip地址。同样,我们在slave1虚拟机上也要进行这一步操作。
3.关闭虚拟机的防火墙
一般来说,ubuntu默认都是安装防火墙软件ufw的,使用命令 sudo ufw version,如果出现ufw的版本信息,则说明已有ufw
使用命令 sudo ufw status查看防火墙开启状态:如果是active则说明开启,如果是inactive则说明关闭
开启/关闭防火墙 (默认设置是’disable’)
sudo ufw enable|disable
我们使用sudo ufw disble来关闭防火墙,并再次用sudo ufw status 查看防火墙是否关闭
二.安装jdk(所有虚拟机都要安装配置)
将jdk的压缩文件拖进master和slave1虚拟机中,压缩(右键文件,extract here),或者用命令行
tar -zxvf jdk1.8.0_161.tar.gz(使用自己的压缩文件名)
配置环境jdk环境:
命令:sudo gedit /etc/profile
将jdk的路径添加到文件后面(根据自己的文件路径来,我这里jdk1.8.0_161文件夹的路径是/home/hadoop/java)
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161
export JRE_HOME=/home/hadoop/java/jdk1.8.0_161/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
保存退出,为了使配置立即生效,键入命令:source /etc/profile,或者重启虚拟机,命令:shutdown -r now
检