目录
1.修改配置文件hadoop-env.sh(在末尾添加已下内容)
6.新建masters文件(/opt/hadoop-3.2.1/etc/hadoop/目录下)
7.新建workers文件(/opt/hadoop-3.2.1/etc/hadoop/目录下)
8.新建tmp、name、data文件夹(/opt/hadoop-3.2.1目录下)
9.将master机上的复制文件到slaver01、slaver02
1.第一次启动需要格式化namenode(/opt/hadoop-3.2.1)
部署条件准备
需要3台虚拟机master(192.138.137.161),slaver01(192.138.137.162),slaver02(192.138.137.163)
系统centos8,配置1核CPU,2G内存,20G硬盘
软件包:hadoop-3.2.2.tar.gz,jdk-8u191-linux-x64.tar.gz
安装虚拟机和设置静态ip联网可以参考如下:
安装虚拟机Centos8:VMware Workstation安装虚拟机Centos8_dp340823的博客-CSDN博客
宿主机连接wifi,centos8静态IP联网:宿主机连接wifi,centos8静态IP联网_dp340823的博客-CSDN博客
一、安装jdk和hadoop
这些操作是在master(192.138.137.161)进行的,
后续将文件scp到slaver01(192.138.137.162)和slaver02(192.138.137.163)即可
1.上传软件包到指定目录下
2.将jdk解压到指定目录/opt下
tar zxvf jdk-8u191-linux-x64.tar.gz -C /opt
3.将hadoop解压到指定目录/opt下
tar zxvf hadoop-3.2.1.tar.gz -C /opt
4.修改环境变量并使之生效
vim /etc/profile
#java
export JAVA_HOME=/opt/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#hadoop
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
source /etc/profile
5.验证jdk和hadoop安装是否正确
java -version
hadoop version
二、设置ssh免密登录
3台虚拟机都要做
1.关闭防火墙
systemctl stop firewalld
firewall-cmd --state
2.修改 hosts
vim /etc/hosts
192.168.137.161 master
192.168.137.162 slaver01
192.168.137.163 slaver02
3.生成公钥
ssh-keygen -t rsa
一直回车即可