Hadoop运行环境搭建（一）

SeniorCollector

已于 2023-09-09 01:16:08 修改

阅读量203

点赞数

分类专栏：大数据文章标签： hadoop 大数据 centos linux

于 2021-04-12 19:23:11 首次发布

本文链接：https://blog.csdn.net/joseph_mino/article/details/115635481

版权

大数据专栏收录该内容

6 篇文章 0 订阅

订阅专栏

本文详细介绍了如何搭建Hadoop运行环境的模板虚拟机，包括选用CentOS-7.5-x86-1804系统，配置4G内存和50G硬盘，安装必要的软件包，关闭防火墙，创建用户fang并赋予sudo权限，设置静态IP，以及修改主机名称映射。这些步骤是构建Hadoop集群的基础，确保所有节点能正确通信和后续安装的顺利进行。

摘要由CSDN通过智能技术生成

Hadoop运行环境搭建之模板虚拟机环境准备

1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下：

注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明，系统为最小化安装

模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备

[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=7.65 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=8.22 ms

2）关闭防火墙，关闭防火墙开机自启，检查是否关闭开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld
[root@hadoop100 ~]# systemctl is-enabled firewalld
disabled

3）创建fang用户，并修改fang用户的密码

[root@hadoop100 ~]# useradd fang
[root@hadoop100 ~]# passwd fang

4）配置fang用户具有root权限，方便后期加sudo执行root权限的命令

修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：

[root@hadoop100 ~]# vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
fang    ALL=(ALL)     NOPASSWD:ALL

5）在/opt目录下创建文件夹，并修改所属主和所属组

（1）在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

（2）修改module、software文件夹的所有者和所属组均为fang用户

[root@hadoop100 ~]# chown fang:fang /opt/module
[root@hadoop100 ~]# chown fang:fang /opt/software

（3）查看module、software文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 fang fang 4096 1月  1 17:18 module
drwxr-xr-x. 2 root root 4096 1月  1 2020 rh
drwxr-xr-x. 2 fang fang 4096 1月  1 17:18 software

6）修改模板虚拟机IP

（1）修改模板虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.100.100
GATEWAY=192.168.100.2
DNS1=192.168.100.2

7）配置主机名称映射hosts文件

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.100.100 hadoop100
192.168.100.101 hadoop101
192.168.100.102 hadoop102
192.168.100.103 hadoop103
192.168.100.104 hadoop104
192.168.100.105 hadoop105
192.168.100.106 hadoop106
192.168.100.107 hadoop107
192.168.100.108 hadoop108

8）重启虚拟机