Hadoop环境搭建

Hadoop 运行环境搭建（开发重点）

1 模板虚拟机环境准备

1）安装模板虚拟机

IP 地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G

• 配置VM的IP
  

• 配置win10的IP

• 设置虚拟机IP

1. su root 进入root账号

2. vim /etc/sysconfig/network-scripts/ifcfg-ens33

3. 设置BOOTPROTO=“static”

4. 最后一行加入：

   IPADDR=192.168.10.100

   GATEWAY=192.168.10.2

   DNS1=192.168.10.2

   按ESC，输入:wq保存退出

5. 修改主机名称：vim /etc/hostname

6. 输入：hadoop100

7. 配置主机名称映射：vim /etc/hosts

8. 光标移动到最后一行，按O后添加以下内容：

   192.168.10.100 hadoop100

   192.168.10.101 hadoop101

   192.168.10.102 hadoop102

   192.168.10.103 hadoop103

   192.168.10.104 hadoop104

   192.168.10.105 hadoop105

   192.168.10.106 hadoop106

   192.168.10.107 hadoop107

   192.168.10.108 hadoop108

9. reboot 重启

• 修改 windows的主机映射文件 （hosts文件）

  1. 进入 C:\Windows\System32\drivers\etc路径。

  2. 打开 hosts文件并添加如下内容，然后保存 。

     192.168.10.100 hadoop100

     192.168.10.101 hadoop101

     192.168.10.102 hadoop102

     192.168.10.103 hadoop103

     192.168.10.104 hadoop104

     192.168.10.105 hadoop105

     192.168.10.106 hadoop106

     192.168.10.107 hadoop107

     192.168.10.108 hadoop108

2）安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

注意：如果Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是Linux
桌面标准版，不需要执行如下操作

➢ net-tool：工具包集合，包含ifconfig 等命令
[root@hadoop100 ~]# yum install -y net-tools
➢ vim：编辑器
[root@hadoop100 ~]# yum install -y vim

3）关闭防火墙

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

**注意：**在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安
全的防火墙

4）创建一个自己命名的用户

[root@hadoop100 ~]# useradd lvhang
[root@hadoop100 ~]# passwd 000000

5）配置lvhang账号拥有root权限

[root@hadoop100 ~]# vim /etc/sudoers

• 粘贴完成后如下图
  

• 把root ALL=（ALL） ALL修改为lvhang账号

6）在/opt目录下创建文件夹 ，并修改所属主和所属组

• 在 /opt目录下创建 目录下创建 目录下创建 module、software文件夹

[lvhang@hadoop100 ~]#sudo mkdir /opt/module

[lvhang@hadoop100 ~]#sudo mkdir /opt/software

• 修改 module、software文件夹的所有者和所属组均为lvhang用户

[lvhang@hadoop100 ~]#sudo chown lvhang:lvhang /opt/module

[lvhang@hadoop100 ~]#sudo chown lvhang:lvhang /opt/software

• 查看module、software文件夹的所有者和所属组

[lvhang@hadoop100 ~]# cd /opt/

[lvhang@hadoop100 opt]# ll

7）卸载虚拟机自带的JDK

注意：如果你的虚拟机是最小化安装不需要执行这一步。

注意：要切到root账号

[root@hadoop100 opt]$ rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

**➢ rpm -qa：**查询所安装的所有rpm软件包
**➢ grep -i：**忽略大小写
**➢ xargs -n1：**表示每次只传递一个参数
**➢ rpm -e –nodeps：**强制卸载软件

8）重启虚拟机

2 克隆虚拟机

(1) 利用模板机 hadoop100，克隆 三台虚拟机 ：hadoop102 hadoop103 hadoop104

• 克隆时，要先关闭hadoop100

(2)修改克隆机 IP，主机名称

[root@hadoop100 opt]$ vim /etc/sysconfig/network-scripts/ifcfg-ens33

[root@hadoop100 opt]$ vim /etc/hostname

3 在hadoop2上安装jdk

(1)用Xftp将下载好的hadoop和JDK传输到 hadoop102的 /opt/software

(2)安装JDK

[lvhang@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

(3)配置环境变量

• 进入profile.d目录

[lvhang@hadoop102 profile.d]$ cd /etc/profile.d/

• 新建文件my_env.sh

[lvhang@hadoop102 profile.d]$ sudo vim my_env.sh

• my_env.sh中输入以下内容配置环境变量

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

• 重新加载

[lvhang@hadoop102 profile.d]$ source /etc/profile

4. 在hadoop2上安装hadoop

操作方法同上

hadoop环境变量的配置

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

hadoop目录说明

• bin目录：存放对 Hadoop相关服务( hdfs，yarn，mapred）进行操作的脚本
• etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
• lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
• sbin目录：存放启动或停止Hadoop相关服务的脚本
• share目录：存放Hadoop的依赖jar包、文档和官方案例