3.Hadoop运行环境搭建(开发重点)

1 虚拟机环境准备

1.安装虚拟机(最小化安装即可,如下为测试环境系统版本)

[root@hadoop101 ~]# cat /etc/centos-release
CentOS Linux release 7.6.1810 (Core) 

2.修改虚拟机的静态IP

[root@hadoop101 ~]# cd /etc/sysconfig/network-scripts/
[root@hadoop101 network-scripts]# cat ifcfg-ens33 
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
#修改为本机IP
IPADDR=192.168.108.105
NETMASK=255.255.255.0
#修改本地虚拟网卡地址
GATEWAY=192.168.108.2
DNS1=8.8.8.8
DNS2=114.114.114.114
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"

3.修改主机名

[root@hadoop101 network-scripts]# vi /etc/hosts
#设置对应IP和主机名
192.168.108.105 hadoop101

[root@hadoop101 network-scripts]# vi /etc/hostname 
#设置主机名
hadoop101

[root@hadoop101 network-scripts]# reboot
重启生效

4.关闭防火墙

Centos 7 firewall 命令：
查看已经开放的端口：
firewall-cmd --list-ports

开启端口
firewall-cmd --zone=public --add-port=80/tcp --permanent
命令含义：
–zone #作用域
–add-port=80/tcp #添加端口，格式为：端口/通讯协议
–permanent #永久生效，没有此参数重启后失效

重启防火墙
firewall-cmd --reload #重启firewall
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

5.在/opt目录下创建文件夹module和software,用于后续统一管理

[root@hadoop101 opt]# mkdir module
[root@hadoop101 opt]# mkdir software
[root@hadoop101 opt]# ll
总用量 0
drwxr-xr-x. 2 root root 6 10月  9 14:17 module
drwxr-xr-x. 2 root root 6 10月  9 14:17 software

2 安装JDK

1. 卸载现有JDK

1. 查询是否安装Java软件
[root@hadoop101 opt]# rpm -qa | grep java
2. 如果安装的版本低于1.7，卸载该JDK
[root@hadoop101 opt]# rpm -e 软件包
3. 查看JDK安装路径
[root@hadoop101 opt]# which java

2. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面(alt+p)

# 进入到指定文件夹
sftp> cd /opt/software/
sftp> pwd              
/opt/software
# 进入jdk所在目录,并上传
sftp> lcd D:\BaiduNetdiskDownload\bigData\hadoop\2.资料\01_jar包\00_jdk
sftp> put jdk-8u144-linux-x64.tar.gz

3. 解压JDK到/opt/module目录下

[root@hadoop101 software]# cd /opt/software/ && ls
jdk-8u144-linux-x64.tar.gz
[root@hadoop101 software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

4. 配置JDK环境变量

#在profile文件末尾添加JDK路径
[root@hadoop101 jdk1.8.0_144]# vi + /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
#保存后退出:wq

#让修改后的文件生效
[root@hadoop101 jdk1.8.0_144]# source /etc/profile

5. 测试JDK是否安装成功

[root@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

3 安装Hadoop

0. Hadoop下载地址：
   https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1. 用SecureCRT工具将Hadoop导入到opt目录下面的software文件夹下面(alt+p)

# 进入到指定文件夹
sftp> cd /opt/software/
sftp> pwd              
/opt/software
# 进入Hadoop所在目录,并上传
sftp> lcd D:\BaiduNetdiskDownload\bigData\hadoop\2.资料\01_jar包\
sftp> put hadoop-2.7.2.tar.gz

3. 解压Hadoop到/opt/module目录下

[root@hadoop101 software]# cd /opt/software/ && ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz
[root@hadoop101 software]# tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4. 配置Hadoop环境变量

#在profile文件末尾添加Hadoop路径
[root@hadoop101 module]# vi + /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#保存后退出:wq

#让修改后的文件生效
[root@hadoop101 module]# source /etc/profile

5. 测试Hadoop是否安装成功

[root@hadoop101 module]# hadoop version
Hadoop 2.7.2
Subversion Unknown -r Unknown
Compiled by root on 2017-05-22T10:49Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

4. Hadoop目录结构

查看Hadoop目录结构
[root@hadoop101 hadoop-2.7.2]# ll
总用量 28
drwxr-xr-x. 2 root root 194 5月 22 2017 bin
drwxr-xr-x. 3 root root 20 5月 22 2017 etc
drwxr-xr-x. 2 root root 106 5月 22 2017 include
drwxr-xr-x. 3 root root 20 5月 22 2017 lib
drwxr-xr-x. 2 root root 239 5月 22 2017 libexec
-rw-r–r--. 1 root root 15429 5月 22 2017 LICENSE.txt
-rw-r–r--. 1 root root 101 5月 22 2017 NOTICE.txt
-rw-r–r--. 1 root root 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 root root 4096 5月 22 2017 sbin
drwxr-xr-x. 4 root root 31 5月 22 2017 share

重要目录
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例