大数据框架之Hadoop：入门（三）Hadoop运行环境搭建（开发重点）

3.1虚拟机环境准备

详见：yiluohan1234/vagrant_bigdata_cluster: 利用virtualbox快速搭建大数据测试环境 (github.com)

单纯只是安装虚拟机的话，注释掉40到115行。按照教程安装即可。

在 /opt 目录下创建 module、 software 文件夹

[root@hdp101 ~]# mkdir -p /opt/module
[root@hdp101 ~]# mkdir -p /opt/software

3.2安装JDK

1.卸载现有 JDK

（1）查询是否安装 Java 软件：

[root@hdp101 ~]# rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该 JDK：

[root@hdp101 ~]# rpm -e 软件包

（3）查看 JDK 安装路径：

[root@hdp101 ~]# which java

2.用 Tabby 工具在 /opt/software 下载 JDK

wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz

3.在Linux系统下的 /opt/software 目录中查看软件包是否下载成功

[root@hdp101 ~]# cd /opt/software
[root@hdp101 software]# ls
jdk-8u201-linux-x64.tar.gz

4.解压 JDK 到 /opt/module 目录下并重命名文件夹为java

[root@hdp101 software]# tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/module/
[root@hdp101 software]# mv /opt/module/jdk1.8.0_201 /opt/module/java

5.配置 JDK 环境变量

（1）先获取 JDK 路径

[root@hdp101 java]# pwd
/opt/module/java

（2）打开 /etc/profile 文件

[root@hdp101 java]# vi /etc/profile

在profile文件末尾添加 JDK 路径

# jdk environment
export JAVA_HOME=/opt/module/java
export PATH=${JAVA_HOME}/bin:$PATH

（3）保存后退出

:wq

（4）让修改后的文件生效

[root@hdp101 java]# source /etc/profile

6.测试 JDK 是否安装成功

[root@hdp101 java]# java -version
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

3.3安装Hadoop

0. Hadoop官网下载地址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz

推荐使用：https://mirrors.huaweicloud.com/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz下载速度快

1.用 Tabby 工具将 hadoop-2.7.2.tar.gz 下载到opt目录下面的software文件夹下面

切换到 sftp 连接页面，选择 Linux 下编译的 hadoop tar 包拖入，如下图所示

[root@hdp101 software]# wget https://mirrors.huaweicloud.com/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz

2.进入到 Hadoop 安装包路径下

[root@hdp101 ~]$ cd /opt/software/

3.解压安装文件到 /opt/module 下面，并重命名为hadoop

[root@hdp101 software]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/
[root@hdp101 software]# mv /opt/module/hadoop-2.7.7 /opt/module/hadoop

4.查看是否解压成功

[root@hdp101 software]# ls /opt/module/
java  hadoop

5.将 Hadoop 添加到环境变量

（1）获取 Hadoop 安装路径

[root@hdp101 hadoop]# pwd
/opt/module/hadoop

（2）打开 /etc/profile 文件

[root@hdp101 hadoop]# vi /etc/profile

在 profile 文件末尾添加 JDK 路径：（shift+g）

# hadoop environment
export HADOOP_HOME=/opt/module/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

（3）保存后退出

:wq

（4）让修改后的文件生效

[root@hdp101 hadoop]# source /etc/profile

6.测试是否安装成功

[root@hdp101 hadoop]# hadoop version
Hadoop 2.7.7
Subversion Unknown -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac
Compiled by stevel on 2018-07-18T22:47Z
Compiled with protoc 2.5.0
From source with checksum 792e15d20b12c74bd6f19a1fb886490
This command was run using /opt/module/hadoop/share/hadoop/common/hadoop-common-2.7.7.jar

3.4Hadoop目录结构

1、查看 Hadoop 目录结构

[root@hdp101 hadoop]# ll
total 112
drwxr-xr-x 2 vagrant ftp   194 Jul 19  2018 bin
drwxr-xr-x 3 vagrant ftp    20 Jul 19  2018 etc
drwxr-xr-x 2 vagrant ftp   106 Jul 19  2018 include
drwxr-xr-x 3 vagrant ftp    20 Jul 19  2018 lib
drwxr-xr-x 2 vagrant ftp   239 Jul 19  2018 libexec
-rw-r--r-- 1 vagrant ftp 86424 Jul 19  2018 LICENSE.txt
-rw-r--r-- 1 vagrant ftp 14978 Jul 19  2018 NOTICE.txt
-rw-r--r-- 1 vagrant ftp  1366 Jul 19  2018 README.txt
drwxr-xr-x 2 vagrant ftp  4096 Jul 19  2018 sbin
drwxr-xr-x 4 vagrant ftp    31 Jul 19  2018 share

2、重要目录

（1）bin目录：存放对 Hadoop 相关服务（HDFS, YARN ）进行操作的脚本

（2）etc目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

（3）lib目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止 Hadoop 相关服务的脚本

（5）share目录：存放 Hadoop 的依赖jar包、文档、和官方案例