【2】Hadoop 运行环境搭建

一. 虚拟机环境准备

1. 克隆虚拟机
   执行vim /etc/udev/rules.d/70-persistent-net.rules修改这三处：
   

2. 修改克隆虚拟机的静态IP
   执行：vim /etc/sysconfig/network-scripts/ifcfg-eth0
   

3. 修改主机名
   3.1 修改主机映射文件
   执行：vim /etc/sysconfig/network 修改新的主机名称（不要带下划线）
   
   3.2 添加ip和主机的映射
   执行：vim /etc/hosts
   
   （IP和主机名修改后：重启设备）
   另外：Windows也可以通过主机名来连接CentOS
   （执行 ）C:\Windows\System32\drivers\etc\hosts）

4. 关闭防火墙

5. 创建atguigu 用户
   
   （su- 切换用户）

6. 配置atguigu 用户具有root 权限
   执行：vim /etc/sudoers
   

7. 在/opt 目录下创建文件夹
   (1)在/opt目录下创建module、software文件夹
   
   （atguigu用户下要用 sudo mkdir module 、 sudo mkdir software）

   (2)修改module、software文件夹的所有者权限。
   

二. 安装JDK

1 . 卸载现有 JDK ~~~~~~~~~~~~
（1）查询是否安装 Java软件：
[atguigu@hadoop101 opt]$ rpm qa | grep java
（2）如果安装的版本低于 1.7，卸载该 JDK
[atguigu@hadoop101 opt]$ sudo rpm e 软件包
（3）查看 JDK安装路径：
[atguigu@hadoop10 1 ~]$ which java
2. 用 SecureCRT工具将 JDK导入到 opt目录下面的 software文件夹下面
（1） “alt+p”进入 sftp模式，进入Linux下/opt/software文件夹下

（2）将jdk的jar包拖拽过来

3. 在 Linux系统下的opt目录中查看软件包是否导入成功
cd /opt/software

4. 解压 JDK到 /opt/module目录下

5. 配置 JDK环境变量
(1)获取解压后的JDK路径（pwd）

（2）打开 /etc/profile文件

在profile文件末尾添加 JDK路径

(3)让修改后的文件生效，并测试 JDK是否安装成功
注意： java -version可以用的话不需要重启，不能用的话需要reboot。

三. 安装Hadoop

1. 用 SecureCRT工具将 hadoop-2.7.2.tar.gz导入到 opt目录下面的 software文件夹下面
   
2. 进入到 Hadoop安装包路径下
   （同上）
3. 解压安装文件到 /opt/module下面
   （同上）
4. 查看是否解压成功
   （同上）
5. 将 Hadoop添加到环境变量
   
   让文件生效：执行 source /etc/profile
6. 测试是否安装成功
   
7. 重启 (如果 Hadoop命令不能用再重启 )
   

四. Hadoop目录结构

1、 查看 Hadoop目录结构

2、 重要目录
（1）bin目录：存放对 Hadoop相关服务（ HDFS,YARN）进行操作的脚本
（2）etc目录： Hadoop的配置文件目录，存放 Hadoop的配置文件
（3）lib目录：存放 Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放 Hadoop的依赖 jar包 、 文档 、 和官方案例