Hadoop3.1.1完全分布式集群部署流程

1.准备工作

两台虚拟机（我是用的是ubuntu18.04版本）

---

1.1 添加hosts

sudo su         #获取管理员权限，默认后面的代码都已获取过该权限
vim etc/hosts

进入后添加servera和serverb以及相应的ip

servera为master，serverb为worker
（注：只是方便以后配置hadoop使用）

1.2 安装jvm

去Oracle官网下载jdk1.8（我下的是jdk-8u181-linux-x64.tar.gz）
在/usr/lib目录下新建jvm文件夹

cd /usr/lib
mkdir jvm

将下载好的压缩包解压到/usr/lib/jvm

tar zxvf /你存放jdk压缩包的位置/jdk-8u181-linux-x64.tar.gz -C /usr/lib/jvm 

在环境变量文件中配置JAVA_HOME

vim ~/.bashrc

添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_181
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

保存退出后，执行

source ~/.bashrc
echo $JAVA_HOME

输出工作目录验证是否正确

1.3 ssh设置免密登陆

自身免密登陆设置

sudo apt-get install openssh-server
cd ~/.ssh/                         # 若提示无该目录，请先创建一个
ssh-keygen -t rsa                  # 一直按回车就可以了
cat id_rsa.pub >> authorized_keys  # 加入授权
ssh localhost                      # 测试本地免密登陆是否成功

master机器（servera）免密登陆worker机器设置（只需配置servera）

ssh-copy-id -i ~/.ssh/id_rsa.pub serverb

完成后测试ssh serverb 指令是否能登陆serverb
（注：若提示输入密码则说明失败，尝试手动将servera中~/.ssh/目录下的id_rsa.pub文件中的密钥复制到serverb中的~/.ssh/目录下的authorized_keys文件中）
另外，测试成功后记得执行exit 指令退出serverb

---

2 Hadoo