Hadoop运行环境搭建（一）

文章目录

一、虚拟机环境准备

二、在三台虚拟机安装JDK

三、在三台虚拟机安装Hadoop

四、Hadoop目录结构

总结

---

一、虚拟机环境准备

虚拟机环境在上一节已经讲过，如果没有的话可以去看上一篇博文：使用vagrant搭建三台虚拟机环境

在上面只是搭建了基本的虚拟机，然后还需要做如下配置（三台虚拟机都要设置，现在以vagrant1为例）：

1.配置主机名称映射，打开/etc/hosts

vim /etc/hosts

把hosts文件里面所有内容改为

192.168.100.61 vagrant1
192.168.100.62 vagrant2
192.168.100.63 vagrant3

2.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

3.创建一个账户

useradd atao
passwd atao

4.重启虚拟机

reboot

5.配置atao用户具有root权限

vim /etc/sudoers

修改/etc/sudoers文件，找到下面一行（100行），在root下面添加一行，如下所示：

## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
atao    ALL=(ALL)       ALL

6.在/opt目录下创建文件夹

（1）在/opt目录下创建module、software两个文件夹

mkdir /opt/module
mkdir /opt/software

（2）修改module、software文件的所有者

chown atao:atao /opt/module/ /opt/software/

PS：后续操作都在atao这个用户下操作

二、在三台虚拟机安装JDK

以vagrant1为例

1.卸载现有JDK

rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

2.把JDK上传到vagrant1中/opt/software下

3.查看Linux系统下的/opt目录中是否有软件包

ls /opt/software

4.解压jdk到/opt/module下

tar -zxvf /opt/software/jdk-8u191-linux-x64.tar.gz -C /opt/module/

5.把/opt/module下面的jdk1.8.0_191改名为jdk1.8

mv /opt/module/jdk1.8.0_191/ /opt/module/jdk1.8

6.配置jdk环境变量

（1）新建/etc/profile.d/my_env.sh

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

执行source /etc/profile让环境变量生效

source /etc/profile

7.测试jdk时候安装成功

java -version

如果出现如下就表示jdk已经正常安装

 

三、在三台虚拟机安装Hadoop

Hadoop的下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

以vagrant1为例

1.把下载的Hadoop上传到vagrant1中/opt/software下

2.解压安装文件到/opt/module下面

tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/

3.将Hadoop添加到环境变量

（1）获取Hadoop安装路径

（2）打开/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

在profile文件末尾添加hadoop路径：

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效

source /etc/profile

4.测试hadoop时候安装成功

hadoop version

如果出现如下就表示hadoop已经正常安装

 

四、Hadoop目录结构

1.查看Hadoop目录结构

2.重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS，YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档和官方案例

 

---

总结

本章主要是对hadoop需要运行的环境搭建，里面包括防火墙，主机映射文件，jdk环境，hadoop环境的搭建，为后面hadoop运行模式做前期准备。