hadoop运行环境搭建

 

1.1 模板虚拟机环境准备

1）准备一台模板虚拟机bigdata（这是虚拟机名字，自己随便起），虚拟机配置要求如下：

注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明

模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备

      [root@bigdata~]# yum install -y epel-release

      [root@bigdata~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static  tree iotop git

使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

      [root@bigdata~]# ping www.baidu.com

PING www.baidu.com (14.215.177.39) 56(84) bytes of data.

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

2）关闭防火墙，关闭防火墙开机自启

[root@bigdata~]# systemctl stop firewalld

[root@bigdata~]# systemctl disable firewalld

3）创建mybigdata用户，并修改mybigdata用户的密码

[root@bigdata~]# useradd mybigdata

[root@bigdata~]# passwd mybigdata

4）配置mybigdata用户具有root权限，方便后期加sudo执行root权限的命令

[root@bigdata~]# vim /etc/sudoers

修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：

## Allow root to run any commands anywhere

root    ALL=(ALL)     ALL

mybigdata  ALL=(ALL)     NOPASSWD:ALL

5）在/opt目录下创建文件夹，并修改所属主和所属组

（1）在/opt目录下创建module、software文件夹

[root@bigdata~]# mkdir /opt/module

[root@bigdata~]# mkdir /opt/software

（2）修改module、software文件夹的所有者和所属组均为atguigu用户 

[root@bigdata~]# chown atguigu:atguigu /opt/module

[root@bigdata~]# chown atguigu:atguigu /opt/software

（3）查看module、software文件夹的所有者和所属组

[root@bigdata~]# cd /opt/

[root@bigdataopt]# ll

总用量 12

drwxr-xr-x. 2 mybigdata  mybigdata 4096 5月  28 17:18 module

drwxr-xr-x. 2 root    root    4096 9月   7 2017 rh

drwxr-xr-x. 2 mybigdata  mybigdata 4096 5月  28 17:18 software

6）卸载虚拟机自带的open JDK

[root@bigdata~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

7）重启虚拟机

[root@bigdata~]# reboot