Hadoop运行环境搭建

虚拟机环境准备

根据前两篇 设置 然后继续
虚拟机环境前面已经提到过
https://blog.csdn.net/VanasWang/article/details/105277691

1）虚拟机配置要求如下：

单台虚拟机：内存4G，硬盘50G，安装必要环境(最小化安装)

补充安装各种指令、

sudo yum install -y epel-release

sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop

修改克隆虚拟机的静态IP(按照自己机器的网络设置进行修改)

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

2）修改主机名:

修改主机名称

sudo vim /etc/hostname

配置主机名称映射，打开/etc/hosts

sudo vim /etc/hosts

3）关闭防火墙

sudo systemctl stop 	firewalld

sudo systemctl disable firewalld

4）创建用户

sudo useradd vanas

sudo passwd 123456

5)配置用户具有root权限

sudo vi /etc/sudoers

修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：

## Allow root to run any commands anywhere

root	ALL=(ALL)   ALL

Vanas	ALL=(ALL)   NOPASSWD:ALL

主机联动host映射文件之前已经写好就不用再改了
切换用户

su vanas

6）在/opt目录下创建文件夹

注意目前用户已经不是root
在/opt目录下创建module、software文件夹

sudo mkdir module

sudo mkdir software

修改module、software文件夹的所有者

sudo mkdir /opt/module /opt/software

sudo chown vanas:vanas /opt/module /opt/software

记得重启

reboot

安装JDK

1. 将JDK安装包上传到Linux /opt/software目录下

2. 解压JDK到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3)配置JDK环境变量

新建/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME

保存后退出

:wq

4. 测试JDK是否安装成功

source /etc/profile	
java -version

安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1. 将hadoop安装包上传到/opt/software目录下

2. 解压安装文件到/opt/module下面

 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3. 查看是否解压成功

 ls /opt/module/
 hadoop-3.1.3

4. 将Hadoop添加到环境变量

获取Hadoop安装路径

pwd

/opt/module/hadoop-3.1.3

打开/etc/profile.d/my_env.sh文件（shift+g）

#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
#HADOOP_HOME
HADOOP_HOME=/opt/module/hadoop-3.1.3
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME HADOOP_HOME

保存后退出

:wq

让修改后的文件生效

source /etc/profile

5. 测试是否安装成功

hadoop version
Hadoop 3.1.3

6. 重启(如果Hadoop命令不能用再重启)

sync
sudo reboot