Linux中Hadoop最小化安装相关环境配置

注意：root用户下可以直接用，其它用户需要分配root权限
1、安装必要的软件包
sudo yum install -y epel-release

sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop

2、在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹
sudo mkdir module
sudo mkdir software

（2）修改module、software文件夹的所有者
sudo chown caron:caron /opt/module /opt/software

3、安装JDK

1. 将JDK安装包上传到Linux /opt/software目录下

2. 解压JDK到/opt/module目录下
   tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
   

3. 配置JDK环境变量,两种方式:

第一种:

（1）新建/etc/profile.d/my_env.sh文件


sudo vim my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
!

（2）保存后退出

:wq

（3）重启xshell窗口，让环境变量生效

第二种:

（1）直接将环境变量配置到 /etc/profile

文件中,在/etc/profile文件的末尾追加如下内容:

JAVA_HOME=/opt/module/jdk1.8.0_212

PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME

（2）保存退出,然后执行如下命令

source /etc/profile

4. 测试JDK是否安装成功

java -version

如果能看到以下结果、则Java正常安装

java version “1.8.0_212”

注意：重启（如果java -version可以用就不用重启）

sudo reboot

4、安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1. 将hadoop安装包上传到/opt/software目录下

2. 解压安装文件到/opt/module下面
   tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
   

3. 查看是否解压成功
   ls /opt/module/
   

4. 将Hadoop添加到环境变量

（1）获取Hadoop安装路径
pwd

（2）打开/etc/profile文件

sudo vim /etc/profile

在profile文件末尾添加：（shitf+g）或者添加到my_env.sh 中

HADOOP_HOME=/opt/module/hadoop-3.1.3

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH JAVA_HOME HADOOP_HOME

（3）保存后退出

:wq

（4）让修改后的文件生效

source /etc/profile

5) 测试是否安装成功
hadoop version

（6) 重启(如果Hadoop命令不能用再重启)

sync
或者
sudo reboot
5、Hadoop重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例