Hadoop运行环境搭建

1 Hadoop运行环境搭建

---

1.1 准备模板虚拟机(最小化安装)

1. 修改用户名,将用户名修改为hadoop101

vi /etc/hostname

需要重启后才能生效，重启命令：reboot

2. 根据VMware修改为静态IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

注 网络配置文件名可能会有不同，在输入到ifcfg时，可以连续按两下tab键，获取提示，比如我的机器 为 ifcfg-ens33

需要或修改内容替换如下：

BOOTPROTO=”static” #静态连接 
ONBOOT=”yes” #网络设备开机启动 
IPADDR=”192.168.130.101” #192.168.130.x, x为3~255. 
NETMASK=”255.255.255.0” #子网掩码 
GATEWAY=”192.168.130.2” #网关IP 需要虚拟机网络设置里的网关进行设置
DNS1= 8.8.8.8
DNS2=8.8.8.4

需要重新启动网络服务

service network restart

最后对网络进行测试，并可用Xshell进行远程连接

ping www.baidu.com

3. 通过yum安装必要的软件

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

此时就可以用vim进行编辑了

4. 关闭防火墙

systemctl stop firewalld      #暂时关闭防火墙
systemctl disable firewalld   #永久关闭防火墙

systemctl status firewalld    #查看防火墙状态

5. 修改hosts文件（为搭建集群做准备）

vim /etc/hosts

将hosts文件修改为集群对应的host

192.168.130.101 hadoop101
192.168.130.102 hadoop102
192.168.130.104 hadoop103
192.168.130.104 hadoop104
192.168.130.105 hadoop105

6. 创建普通用户并且提升它能拥有root权限

创建普通用户：

useradd xu1an
passwd xu1an  
#然后设置密码 123456

配置root权限

vim /etc/sudoers

打开sudoers文件后，在root下方添加

xu1an ALL=(ALL) NOPASSWD:ALL

7. 在/opt目录下创建 software 和 module

software: 放置软件安装包

module: 放置软件安装目录

cd /opt
mkdir software
mkdir module

8. 将software 和 module 目录的所有者和所属组修改为 xu1an

chown xu1an:xu1an /module /software

1.2 准备hadoop102 机器（通过克隆模板机的方式创建）

1. 修改主机名，将名称修改为hadoop102

vim /etc/hostname

2. 修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改ip

IPADDR=”192.168.130.102” #将ip修改为102

通过reboot重启linux

1.3 在hadoop102上安装jdk

1. 将jdk的安装包上传到 /opt/software 下
   在hadoop和jdk官网上下载linux版本的相关压缩包。
   通过Xftp（学生免费）将jdk和hadoop导入到/opt/software下

2. 将jdk安装到 /opt/module 下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

补充

压缩命令：tar -zcvf 压缩文件名 .tar.gz 被压缩文件名

• 可先切换到当前目录下，压缩文件名和被压缩文件名都可加入路径。

---

解压缩命令： tar -zxvf 压缩文件名.tar.gz

• 解压缩后的文件只能放在当前的目录。
• C代表change目录的意思，指定解压文件到/opt/module这个目录下

3. 配置jdk的环境变量

可查看/etc/profile文件，linux建议在/etc/profile.d下创建*.sh。而不是在profile内部直接修改

在/etc/profile.d 目录下创建自定的配置文件 my_env.sh

cd /etc/profile.d/
sudo touch my_env.sh
sudo vim my_env.sh

补充

Linux sudo命令以系统管理者的身份执行指令

my_env.sh中编写JDK环境变量：

#配置JDK的环境变量
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#声明PATH变量，在系统原有PATH上追加
PATH=$PATH:$JAVA_HOME/bin

#提升PATA JAVA_HOME 为系统全局变量
export JAVA_HOME PATH 

1.4 Hadoop的目录结构的了解

重要目录
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

1.5 后续

我们将hadoop101作为集群的模板机，后续就可以开始搭建hadoop集群。