二 Hadoop运行环境搭建

1 虚拟机环境准备

1.1 克隆虚拟机，虚拟机配置要求如下(也可以重新安装)：

(需要ping通百度,ping通window,外面的window也可以ping通虚拟机)

1. 单台虚拟机：内存4G，硬盘50G
2. 删除重复的eth0配置（只有CentOS6才会重复）
   [root@xiaoai 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules

(1) 删除“eth0”这一行 
(2) 将"eth1"修改为"eth0"

3. 修改克隆虚拟机的静态IP

[root@xiaoai 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

改成:

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static #重点 让IP不会变
NAME="eth0"
IPADDR=192.168.60.100 #重点 设置IP,需要和网关同在一个网段
PREFIX=24
GATEWAY=192.168.60.2 #重点 网关
DNS1=114.114.114.114 #重点 
DNS2=8.8.8.8  #重点

4. 查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8
   

5. 查看Windows系统适配器VMware Network Adapter VMnet8的IP地址
   
   如果不一样请设置成一样的

6. 保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

1.2 修改主机名

(1) 修改主机名称

[root@xiaoai 桌面]# vi /etc/sysconfig/network
文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= xiaoai

（2）配置主机名称映射，打开/etc/hosts

[root@xiaoai 桌面]# vim /etc/hosts
添加如下内容
192.168.60.100 xiaoai
192.168.60.101 xiaoai01
192.168.60.102 xiaoai02
192.168.60.103 xiaoai03
192.168.60.104 xiaoai04
192.168.60.105 xiaoai05
192.168.60.106 xiaoai06
192.168.60.107 xiaoai07
192.168.60.108 xiaoai08
192.168.60.109 xiaoai09

说明:这相当于IP地址的别名,比如"xiaoai" 这台计算机的IP地址就是"192.168.60.100",以后要用到这台机器的时候,直接用xiaoai来代替"192.168.60.100"

（3）修改window的主机映射文件（hosts文件）

（a）进入C:\Windows\System32\drivers\etc路径
（b）拷贝hosts文件到桌面
（c）打开桌面hosts文件并添加如下内容
192.168.60.100 xiaoai
192.168.60.101 xiaoai01
192.168.60.102 xiaoai02
192.168.60.103 xiaoai03
192.168.60.104 xiaoai04
192.168.60.105 xiaoai05
192.168.60.106 xiaoai06
192.168.60.107 xiaoai07
192.168.60.108 xiaoai08
192.168.60.109 xiaoai09
（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

1.3 关闭防火墙

[root@xiaoai 桌面]# service iptables stop
[root@xiaoai 桌面]# chkconfig iptables off

1.4 创建andy(可以是其它名字)用户

[root@xiaoai 桌面]# useradd andy
[root@xiaoai 桌面]# passwd andy

1.5 重启虚拟机

[root@xiaoai 桌面]# reboot

1.6 配置andy用户具有root权限

[root@xiaoai ~]#vi /etc/sudoers
修改/etc/sudoers文件，找到下面一行，在root下面添加一行，如下所示：
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
andy   ALL=(ALL)     ALL # 增加的行

1.7 在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

[andy@xiaoai opt]$ sudo mkdir module
[andy@xiaoai opt]$ sudo mkdir software

（2）修改module、software文件夹的所有者cd

[andy@xiaoai opt]$ sudo chown andy:andy module/ software/
[andy@xiaoai opt]$ ll
总用量 8
drwxr-xr-x. 2 andy andy 4096 1月  17 14:37 module
drwxr-xr-x. 2 andy andy 4096 1月  17 14:38 software

2 在linux虚拟机上安装JDK

1. 卸载现有JDK
（1）查询是否安装Java软件：

[andy@xiaoai opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

[andy@xiaoai opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

[andy@xiaoai ~]$ which java

**2. 把JDK的压缩包复制到linux下的/opt/software 目录下.

linux JDK 下载地址:
链接：https://pan.baidu.com/s/17Rq3_dT2x3FquQ4j_0DEjg 
提取码：niap 

**3. 把JDK的压缩包解压到linux下的/opt/module 目录下.可以用以下命令:

tar -zxvf  /opt/software/jdk-8u144-linux-x64.tar.gz -C /opt/module/

4. 配置JDK环境变量
（1）先获取JDK路径

[andy@xiaoai  jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

（2）打开/etc/profile文件

[andy@xiaoai software]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出
（4）让修改后的文件生效
[andy@xiaoai jdk1.8.0_144]$ source /etc/profile
5. 测试JDK是否安装成功

[andy@xiaoai jdk1.8.0_144]# java -version
java version "1.8.0_144"

注意：重启（如果java -version可以用就不用重启）

[andy@xiaoai jdk1.8.0_144]$ sync
[andy@xiaoai jdk1.8.0_144]$ sudo reboot

3 安装Hadoop

(1) 复制Hadoop压缩包到/opt/software目录下
Hadoop下载地址:

链接：https://pan.baidu.com/s/1OFmxg8CP6zcehFJEFC2cHw 
提取码：ej8r 

(2) 解压hadoop 到 /opt/module文件夹下

[andy@xiaoai] tar -zxvf  /opt/modules/hadoop-2.7.2.tar.gz -C /opt/module/

(3) 把Hadoop 添加到环境变量

[andy@xiaoai] sudo vi /etc/profile
在改文件最后添加如下内容:##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(4) 让修改后的文件生效

[andy@xiaoai] source /etc/profile

(5) 测试是否安装成功

[andy@xiaoai] hadoop version
Hadoop 2.7.2

如果输出不来"Hadoop 2.7.2",重启虚拟机.

注意上面的software 和 module 目录 都可以改变,但改变之后配置环境变量的java和Hadoop都要做相应的改变.

4 Hadoop 目录介绍

4.1 查看Hadoop目录结构

[andy@xiaoai hadoop-2.7.2]$ ll
总用量 60
drwxr-xr-x. 2 andy andy  4096 5月  22 2017 bin
drwxrwxr-x. 3 andy andy  4096 2月  18 10:07 data
drwxr-xr-x. 3 andy andy  4096 5月  22 2017 etc
drwxr-xr-x. 2 andy andy  4096 5月  22 2017 include
drwxr-xr-x. 3 andy andy  4096 5月  22 2017 lib
drwxr-xr-x. 2 andy andy  4096 5月  22 2017 libexec
-rw-r--r--. 1 andy andy 15429 5月  22 2017 LICENSE.txt
drwxrwxr-x. 2 andy andy  4096 2月  18 10:08 logs
-rw-r--r--. 1 andy andy   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 andy andy  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 andy andy  4096 5月  22 2017 sbin
drwxr-xr-x. 4 andy andy  4096 5月  22 2017 share
[andy@xiaoai hadoop-2.7.2]$ 

4.2 重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例