Hadoop 2.7.2 分布式集群搭建-操作指南（不断更新）

1、Hadoop运行环境的搭建

1.1 虚拟机环境准备

1.1.1 克隆虚拟机

1.1.2 克隆完成后的配置

1.1.2.1 修改克隆后虚拟机的ip

[root@hadoop101 /] vim /etc/udev/rules.d/70-persistent-net.rules

进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址

1.1.2.2 修改IP地址

[root@hadoop101 /]  vim /etc/sysconfig/network-scripts/ifcfg-eth0

ifcfg-eth0文件说明:

DEVICE=eth0    #接口名（设备,网卡）
BOOTPROTO=none      
# IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议） 
BROADCAST=192.168.1.255    #广播地址    
HWADDR=00:0C:2x:6x:0x:xx   #MAC地址 
IPADDR=192.168.1.23                 #IP地址
NETMASK=255.255.255.0            # 网络掩码  
NETWORK=192.168.1.0                #网络地址 
ONBOOT=yes              #系统启动的时候网络接口是否有效（yes/no）
TYPE=Ethernet                       #网络类型（通常是Ethemet）

（1）把复制的物理ip地址更新
HWADDR=00:0C:2x:6x:0x:xx #MAC地址
（2）修改成你想要的ip
IPADDR=192.168.1.101 #IP地址

1.1.2.3 修改主机名

1）修改linux的主机映射文件（hosts文件）
（1）进入Linux系统查看本机的主机名。通过hostname命令查看
[root@hadoop100 桌面]# hostname
hadoop100
（2）如果感觉此主机名不合适，可以进行修改。
通过编辑/etc/sysconfig/network文件
[root@hadoop100 桌面]# vi /etc/sysconfig/network
文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop100
注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop100。
（4）保存退出。
（5）打开/etc/hosts
[root@hadoop100 桌面]# vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

（6）并重启设备，重启后，查看主机名，已经修改成功
2）修改window7的主机映射文件（hosts文件）
    （1）进入C:\Windows\System32\drivers\etc路径
    （2）打开hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

1.1.2.4 关闭防火墙

1）临时关闭防火墙：
    （1）查看防火墙状态
[root@hadoop100桌面]# service iptables status
    （2）临时关闭防火墙
[root@hadoop100桌面]# service iptables stop
2）开机启动时关闭防火墙
    （1）查看防火墙开机启动状态
[root@hadoop100桌面]#chkconfig iptables --list    
    （2）设置开机时关闭防火墙
[root@hadoop100桌面]#chkconfig iptables off

1.1.2.5 创建psy831用户并配置root权限

1）添加psy831用户，并对其设置密码。
[root@hadoop101 ~]#useradd psy831
[root@hadoop101 ~]#passwd psy831
2）修改配置文件
[root@hadoop101 ~]#vi /etc/sudoers
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下所示：
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
psy831   ALL=(ALL)     ALL

或者配置成采用sudo命令时，不需要输入密码
## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL
psy831   ALL=(ALL)     NOPASSWD:ALL
修改完毕，现在可以用psy831帐号登录，然后用命令 sudo ，即可获得root权限进行操作。

1.1.2.6 在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹
[psy831@hadoop101 opt]$ sudo mkdir module
[psy831@hadoop101 opt]$ sudo mkdir software
    （2）修改module、software文件夹的所有者cd 
[psy831@hadoop101 opt]$ sudo chown psy831:psy831 module/ software/
[psy831@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 psy831 psy831 4096 1月  17 14:37 module
drwxr-xr-x. 2 psy831 psy831 4096 1月  17 14:38 software

1.2 安装JDK

1. 卸载现有JDK
   （1）查询是否安装Java软件：
   [psy831@hadoop101 opt]$ rpm -qa | grep java
   （2）如果安装的版本低于1.7，卸载该JDK：
   [psy831@hadoop101 opt]$ sudo rpm -e 软件包
   （3）查看JDK安装路径：
   [psy831@hadoop101 ~]$ which java
   2.用SecureCRT或FTP工具将JDK导入到opt目录下面的software文件夹下面
2. 解压JDK到/opt/module目录下
   [psy831@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
3. 配置JDK环境变量
   （1）先获取JDK路径
   [psy831@hadoop101 jdk1.8.0_144]$ pwd
   /opt/module/jdk1.8.0_144
   （2）打开/etc/profile文件
   [psy831@hadoop101 software]$ sudo vi /etc/profile
   在profile文件末尾添加JDK路径
   #JAVA_HOME
   export