完全分布式Hadoop安装
以Master服务器础环境配置为例分别演示用户配置、sudo权限配置、网路配置、关闭防火墙、安装JDK工具等。用户需参照以下步骤完成Slave1~Slave2服务器的基础环境配置。 我们以stor01服务器为Master节点,stor02服务器为Slave1节点,stor03服务器为Slave2节点。
一.搭建完全分布式Hadoop所需环境
1.1.开发环境:
硬件环境:Centos7.5三台(一台为Master节点(stor01),两台为Slave节点 (stor02,stor03))
1.2.用户配置:
增加hadoop用户
# adduser hadoop
# passwd hadoop
1.3.网络配置:
添加最后三行内容,三台hadoop服务器都需要添加。
左边为ip,右边为hostname
# sudo vi /etc/hosts
127.0.0.1 localhost.localdomain
::1 hdirect30 hdirect30
10.15.26.83 stor01
10.15.26.84 stor02
10.15.26.85 stor03
重启
# reboot
1.4.关闭防火墙:
yum install iptables-services //安装 iptables
service iptables status //查看防火墙状态
systemctl stop firewalld.service //关闭防火墙
systemctl disable firewalld.service //禁止防火墙开机自启动
关闭SELINUX
# sudo vi /etc/selinux/config
SELINUX=disabled
1.5.安装java1.8
1.5.1
查看/usr/local里是否已经有java包,若有,继续进入2)步骤;否则下载jdk安装包,解压到该目录
1.5.2 设置环境变量
# vi /etc/profile
添加以下内容:
#set java environment
JAVA_HOME=/usr/local/jdk1.8.0_91
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
注意:第二行jdk的版本编号需要根据刚才安装的版本自行调整
使之生效:
source /etc/profile
创建软链接:
ln -s /usr/local/java/jdk1.8.0_91/bin/java /usr/bin/java
查看是否安装完成:
java -version
javac