Hadoop 学习笔记·二 —— Hadoop 运行环境搭建

虚拟机环境准备

1. 克隆虚拟机
2. 修改克隆虚拟机的静态 IP
3. 修改主机名
4. 关闭防火墙
5. 创建 atguigu 用户
6. 配置 atguigu 用户具有 root 权限
7. 在 /opt 目录下创建文件夹

（1）在 /opt 目录下创建 module 、software 文件夹

[atguigu@hadoop101 opt]$ sudo mkdir module
[atguigu@hadoop101 opt]$ sudo mkdir software

（2）修改 module、software 文件夹的所有者 cd

[atguigu@hadoop101 opt]$ sudo chown atguigu:atguigu module/ software/
[atguigu@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:37 module
drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:38 software

安装 JDK

1. 卸载现有 JDK
   （1）查询是否安装 Java 软件：

[atguigu@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于 1.7，卸载该 JDK：

[atguigu@hadoop101 opt]$ sudo rpm -e 软件包

（3）查看 JDK 安装路径：

[atguigu@hadoop101 ~]$ which java

2. 使用 SeureCRT 或者其他工具将 JDK 导入到 opt 目录下面的 software 文件夹下面

“alt+p” 进入 sftp 模式，

选择 jdk1.8 拖入

3. 在 Linux 系统下的 opt 目录中查看软件包是否导入成功

[atguigu@hadoop101 opt]$ cd software/
[atguigu@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

4. 解压 JDK 到 /opt/module 目录下

[atguigu@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5. 配置 JDK 环境变量

（1）先获取 JDK 路径

[atguigu@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

（2）打开 /etc/profile 文件

[atguigu@hadoop101 software]$ sudo vi /etc/profile

在 profile 文件末尾添加 JDK 路径

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出

:wq

（4）让修改后的文件生效

[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile

6. 测试 JDK 是否安装成功

[atguigu@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

注意：重启（如果 java -version 可以用就不用重启）

[atguigu@hadoop101 jdk1.8.0_144]$ sync
[atguigu@hadoop101 jdk1.8.0_144]$ sudo reboot

安装 Hadoop

0. Hadoop下载地址：
   https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1. 用 SecureCRT 工具将 hadoop-2.7.2.tar.gz 导入到 opt 目录下面的 software 文件夹下面

切换到 sftp 连接页面，选择 Linux 下编译的 hadoop jar包 拖入，

2. 进入到 Hadoop 安装包路径下

[atguigu@hadoop101 ~]$ cd /opt/software/

3. 解压安装文件到 /opt/module 下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4. 查看是否解压成功

[atguigu@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2

5. 将 Hadoop 添加到环境变量

（1）获取 Hadoop 安装路径

[atguigu@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打开 /etc/profile 文件

[atguigu@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在 profile 文件末尾添加 JDK 路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

:wq

（4）让修改后的文件生效

[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile

6. 测试是否安装成功

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

7. 重启(如果 Hadoop 命令不能用再重启)

[atguigu@ hadoop101 hadoop-2.7.2]$ sync
[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

Hadoop 的目录结构

1. 查看 Hadoop 目录结构

[atguigu@hadoop101 hadoop-2.7.2]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

2. 重要目录
   （1）bin 目录：存放对 Hadoop 相关服务（HDFS, YARN）进行操作的脚本
   （2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
   （3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
   （4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本
   （5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例