Hadoop之本地运行模式基本环境配置

Hadoop之本地运行模式基本环境配置

非专业生产环境配置
JDK安装包：jdk-8u212-linux-x64.tar.gz 提取码：l5go
Hadoop安装包：hadoop-3.1.3.tar.gz 提取码：2juv

1.服务器准备

1.1 配置必要的环境（初始化状态下的服务器）

yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop

配置成功：

1.2 配置IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33 
修改为：
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=你的静态IP
PREFIX=24
GATEWAY=网关
DNS1=域名解析

1.3 修改主机名

vim /etc/hostname

1.4 配置主机名映射

 vim /etc/hosts
 
添加如下内容：
IP地址 主机名
IP地址 主机名
如：
192.168.202.101 Hadoop101

1.5 关闭防火墙（生产环境下勿设置）

暂时关闭防火墙，每次开机自动开启防火墙

systemctl stop firewalld

永久关闭防火墙，每次开机不会自动启动

  systemctl disable firewalld

1.6 创建普通用户并赋予root权限

创建用户

useradd 用户名

修改用户名密码

在这里插入代码片

修改/etc/sudoers在该文件的第93行添加如下内容，进入vim模式，93+shift+g跳转到第93行

vim /etc/sudoers
root    ALL=(ALL)   ALL
用户名 ALL=(ALL)   NOPASSWD:ALL

添加完，使用 :wq! 强制保存退出

1.7 在/opt目录下创建module、software文件夹，并修改所有权

创建module文件夹，用于存放用户已安装程序

mkdir /opt/module

创建software文件夹，用于存放安装程序包

mkdir /opt/software

修改文件夹的所有权

chown 用户名:用户名 /opt/module /opt/software

1.8 切换用户

su - 用户名

2.安装JDK

2.1 切换到/opt/software目录下

cd /opt/software

2.2 使用xftp工具将JDK安装包上传到当前目录（/opt/software）

2.3 解压JDK安装包到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

2.4 配置环境变量

新建my_env.sh，并配置安装路径

sudo vim /etc/profile.d/my_env.sh

添加如下内容：
#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME

保存并退出  :wq!

source命令使之生效

source /etc/profile

查看JDK安装及环境配置是否成功，没有错误输出则正常

java -version
或
echo $PATH

3.安装Hadoop

3.1 切换到/opt/software/目录下

cd /opt/software

3.2 使用xftp工具将Hadoop安装包上传到当前目录（/opt/spftware）

3.3 解压Hadoop安装包/opt/module下

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

3.4 配置Hadoop的环境变量

sudo vim /etc/profile.d/my_env.sh
添加如下内容：
#HADOOP_HOME
HADOOP_HOME=/opt/module/hadoop-3.1.3
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH JAVA_HOME HADOOP_HOME

保存并退出  :wq!

source命令使之生效

source /etc/profile

查看hadoop安装及环境配置是否成功，没有报错则正常

hadoop version
或
echo $PATH

4.测试运行

使用本地运行模式测试运行官方的WordCount案例
切换到/opt/module/hadoop-3.1.3目录下，创建wcinput文件夹：

mkdir wcinput

在wcinput目录下创建一个wc.input文件并编辑该文件

vim wcinput/wc.input

在该文件中添加如下内容：

hadoop yarn
hadoop mapreduce
I love hadoop
I love hadoop
I love hadoop

保存退出  :wq

执行share目录下的MapReduce程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcouput

查看输出结果

cat part-r-00000

至此，Hadoop的基本环境配置已经完成，也可以成功运行Hadoop的本地模式

若想进一步配置Hadoop运行模式，请看：Hadoop之伪分布式模式基本环境配置及测试