Hadoop3.1.0完全分布式集群部署,三台服务器部署结构如下
#部署完成后
root@servera:/opt/hadoop/hadoop-3.1.0# jps
14056 SecondaryNameNode
14633 Jps
13706 NameNode
14317 ResourceManager
root@serverb:~# jps
5288 NodeManager
5162 DataNode
5421 Jps
root@serverc:~# jps
4545 NodeManager
4371 DataNode
4678 Jps
如上图,一共三台机器作为集群,servera作为master,其他两台作为worker。
2.开始部署-前期准备(三台机器都需要进行如下操作)
- 2.1.配置hosts文件【三台】
vim /etc/hosts
10.80.80.110 servera
10.80.80.111 serverb
10.80.80.112 serverc
-
2.2.jdk 安装【三台】
- 解压
tar -zxf jdk-8u172-linux-x64.tar.gz mv jdk1.8.0_172/ /opt/java/
- 配置JAVA变量
vim /etc/profile.d/jdk-1.8.sh
export JAVA_HOME=/opt/java/jdk1.8.0_172 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
# 使环境变量生效 source /etc/profile # 查看 Java java --version
- 2.3.免密码登录自身【三台】
ssh localhost(三台都需要执行首次需输入yes)
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/au