由于现在需要实际的Hadoop分布式环境以及我当初的一篇伪分布的环境搭建文章不够细致,所以在这里从新写一篇
环境准备:
Centos7
部署节点:
192.168.192.11 master
192.168.192.12 slave1
192.168.192.13 slave2
以下配置内容,大部分在master节点主机上
一、Centos7 环境配置
1、修改主机名
$hostnamectl set-hostname master
注:查看主机名
$hostnamectl
2.查看当前用户名并且赋予管理员权限
$whoami
$su root
$chmod -v u+w /etc/sudoers
在
root ALL=(ALL) ALL
下添加一行
Hadoop ALL=(ALL) ALL //这一行是添加的
$chmod -v u-w /etc/sudoers
二、设置虚拟机相互联通
这里我就不细说了,大家可以上网找下相关内容,我这里是使用NAT模式。我只说几点我遇到的注意事项
1.设置Vmnet8网卡必须在本机的IP段中,比如
主机为 192.168.14.17
则网卡必须为:192.168.xxx.xxx
2.虚拟机虚拟网络设置时,既要保持与网卡IP段一致,也要注意,子网IP最后一个数字只能为0,比如,192.168.192.0
(这点可能还需要再验证下,但是我出现问题的时候,确实是这样解决的)
三、Hadoop环境搭建
1.安装JDK
1)查看是否有自带JDK
$java -version
2) 如果有查看JDK信息并卸载自带JDK
javapackages-tools-3.4.1-6.el7_0.noarch
python-javapackages-3.4.1-6.el7_0.noarch
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
tzdata-java-2015a-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
$sudo yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
$sudo yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
3)安装自带JDK
$tar -zxvf jdk-7u75-linux-x64.gz
编辑 /etc/profile
$sudo vi /etc/profile
添加如下内容:
export JAVA_HOME=/home/hadoop/java/jdk1.7.0_75
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
生效配置
$source