Hadoop运行环境搭建(命令+图解)

1.虚拟机环境准备

1.1 克隆虚拟机（一共三台）

1.2修改克隆虚拟机的静态IP

1. 在终端命令窗口输入

[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules

进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址

2. 修改IP地址

[root@hadoop101 /]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

需要修改的内容有5项：
IPADDR=192.168.152.101 （虚拟机的ip地址）
GATEWAY=192.168.152.2（网关）
ONBOOT=yes（系统启动时自动启动网卡）
BOOTPROTO=static（静态IP）
DNS1=192.168.152.2（同网关）
（1）修改前

（2）修改后
:wq 保存退出

（3）执行

[root@hadoop101 /]# service network restart

4）如果报错，reboot，重启虚拟机。

[root@hadoop101 /]# reboot

1.3修改主机名

1）修改linux的hosts文件
（1）进入Linux系统查看本机的主机名。通过hostname命令查看

hostname

（2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/sysconfig/network文件

vi /etc/sysconfig/network

文件内容
注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
（4）保存退出。
（5）打开/etc/hosts

vim /etc/hosts

添加如下内容
ip地址 主机名
192.168.152.101 hadoop101

192.168.152.102 hadoop102

192.168.152.103 hadoop103

192.168.152.104 hadoop104

（6）并重启设备，重启后，查看主机名，已经修改成功

2）修改window10的hosts文件（暂且不要设置）
（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容
192.168.152.101 hadoop101
192.168.152.102 hadoop102
192.168.152.103 hadoop103
192.168.152.104 hadoop104
192.168.152.105 hadoop105

1.4 关闭防火墙

查看防火墙开机启动状态

 service iptables status

临时关闭防火墙

 service iptables stop

查看防火墙开机启动状态

 chkconfig iptables –list

关闭防火墙开机启动

 chkconfig iptables off

开启防火墙开机启动

 chkconfig iptables on

1.5创建sparky用户

1）创建sparky用户
在root用户里面执行如下操作

useradd sparky（功能描述：添加新用户）
passwd sparky（功能描述：设置用户密码）

2.查看用户是否存在

id sparky

1.6 配置sparky用户具有root权限

1）设置sparky用户具有root权限
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下所示：

[root@hadoop101 桌面]# vi /etc/sudoers

看不到就按住下键找，因为下面还有内容

修改完毕，现在可以用sparky帐号登录，然后用命令 su - ，即可获得root权限进行操作。
2）在/opt目录下创建文件夹
（1）在root用户下创建module、software文件夹

[root@hadoop101 opt]# mkdir module
[root@hadoop101 opt]# mkdir software

（2）修改module、software文件夹的所有者

[root@hadoop101 opt]# chown sparky:sparky module
[root@hadoop101 opt]# chown sparky:sparky sofrware
[root@hadoop101 opt]# ls -al

2.安装JDK

1. 卸载现有JDK

   （1）查询是否安装Java软件：
   

[sparky@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

[sparky@hadoop101 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

[sparky@hadoop101 ~]$ which java

2. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面，如图所示
   alt+p进入sftp模式
   选择jdk1.8拖入

3. 在Linux系统下的opt目录中查看软件包是否导入成功

[sparky@hadoop101 opt]$ cd software/
[sparky@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

4. 解压JDK到/opt/module目录下

[sparky@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5. 配置JDK环境变量

    （1）先获取JDK路径
   

[sparky@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

（2）打开/etc/profile文件

[sparky@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出

:wq

（4）让修改后的文件生效

[sparky@hadoop101 jdk1.8.0_144]$ source /etc/profile

6. 测试JDK是否安装成功

[sparky@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

注意：重启（如果java -version可以用就不用重启）

[sparky@hadoop101 jdk1.8.0_144]$ sync
[sparky@hadoop101 jdk1.8.0_144]$ sudo reboot

3.安装Hadoop

1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
   切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入
   
2. 进入到Hadoop安装包路径下

[sparky@hadoop101 ~]$ cd /opt/software/

3. 解压安装文件到/opt/module下面

[sparky@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4. 查看是否解压成功

[sparky@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2

5. 将Hadoop添加到环境变量
   （1）获取Hadoop安装路径

[sparky@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件

[sparky@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出 :wq
（4）让修改后的文件生效

[sparky@ hadoop101 hadoop-2.7.2]$ source /etc/profile

6. 测试是否安装成功

[sparky@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

7. 重启(如果Hadoop命令不能用再重启)

[atguigu@ hadoop101 hadoop-2.7.2]$ sync
[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

Hadoop目录结构

1. 查看Hadoop目录结构
   
2. 重要目录
   （1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
   （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
   （3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
   （4）sbin目录：存放启动或停止Hadoop相关服务的脚本
   （5）share目录：存放Hadoop的依赖jar包、文档、和官方案例