虚拟机上搭建Hadoop运行环境


Hadoop环境搭建

1.安装VMware

下载并安装VMware,这里不做赘述,具体步骤可自行百度。

2.centos软硬件安装

本篇文章使用的VMware15版本演示,其他版本步骤同理。

2.1硬件部分

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
注意:这里不能超过自己电脑内核总数

打开任务管理器(快捷键 ctrl + alt +del),查看电脑内核总数:
在这里插入图片描述
在这里插入图片描述
查看到我电脑是有8个CPU内核

假如我们未来要克隆三台虚拟机,再加上本机,一共四台计算机

所以我们平分一下,一台两个内核

在这里插入图片描述
根据自己的需求和电脑配置情况设置内存大小,我这里每台配置3g内存.
如果电脑的内存大小不够的话可以设置为2G或者1G
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
最大磁盘大小在条件允许的情况下建议是设置40G以上, 20G可能后续还需扩容,这里我们设置的50G.
注:50G 是指最大占用50G,如果你没有用到50G,别人也可以使用
在这里插入图片描述
在这里插入图片描述

2.2软件部分

确保虚拟化技术已经打开,否则会安装失败.
在这里插入图片描述
在虚拟机设置里面选择系统的镜像文件,本文使用的是提前下载好的centos7
在这里插入图片描述
网络适配器可选择NAT模式或者自定义中选择VMnet8
在这里插入图片描述
设置完成之后启动虚拟机
在这里插入图片描述
在这里插入图片描述
启动成功之后来到欢迎界面
选择语言,我这里选择简体中文
在这里插入图片描述
设置日期和时间,将日期和时间设置为当前时间,设置完成后点击完成即可
在这里插入图片描述
软件选择:
在这里插入图片描述
最小安装的意思是只提供命令行界面,不提供图形化界面
真正的生产环境中一般都是使用最小安装
学习阶段建议安装桌面版
在这里插入图片描述
安装位置:
在这里插入图片描述
可以进去自定义分区,也可以选择自动分区。为了方便可以选择自动分区。
在这里插入图片描述
手动分区的话,选择“我要配置分区”,点击完成,然后弹出配置界面,进行配置即可,这里不作赘述。

网络和主机:
在这里插入图片描述
先打开网络连接,设置主机名
后面可以在系统中对主机名,IP地址等信息进行更改

安全策略:

在这里插入图片描述
配置完成之后点击开始安装即可
在这里插入图片描述
点击安装之后进行安装,安装需要一段时间,这时候可以设置root的密码
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
设置完成之后等待安装完成即可
安装完成之后点击重启
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建一个普通账号
在这里插入图片描述
在这里插入图片描述
配置完成
在这里插入图片描述

3.主机IP和名称配置

3.1 IP配置

编辑–虚拟网络编辑器
IP设置:
这里的子网IP根据规则自己设置即可,我这里设置为192.168.101.0
另外需要选中nat模式将主机虚拟适配器连接到此网络
在这里插入图片描述
设置网关:
设置网关IP,网关IP要和子网IP在同一网段,我这里设置为192.168.101.2
在这里插入图片描述

到这里相当于已经把vm的IP地址配置完了

然后我们配置自己电脑上面的IP地址
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
选择使用下面的IP地址
对照虚拟机中的配置进行填写即可
在这里插入图片描述

3.2主机名配置

vim /etc/hostname

将主机名设置为hadoop100
在这里插入图片描述
保存
在这里插入图片描述

配置主机名和IP地址映射

vim /etc/hosts

在这里插入图片描述
配置映射的作用:
比如在上面这台虚拟机上面配置了上述主机名称和IP的映射,那么我要在这台主机访问另外几个IP,只需要访问他们的主机名即可。
比如 ping 192.168.101.101和ping hadoop101其实是一样的

4.测试连接

输入主机IP,用户名和密码,点击确定。
这里的认证用户可以是root用户也可以是自己设置的普通用户
在这里插入图片描述
在这里插入图片描述

5.克隆虚拟机

5.1克隆虚拟机

将这台配置好的虚拟机克隆
关机,右键—>管理—>克隆
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
设置名称和地址,点击完成

在这里插入图片描述

5.2 修改主机IP和主机名

1.进入Hadoop102

vim /etc/sysconfig/network-scripts/ifcfg-ens33

2.修改IP地址
先切换到root用户再使用上述命令,否则无法修改文件
在这里插入图片描述
修改IP地址为192.168.101.102即可,上图是修改后的结果。
另外确保bootproto是static,而不是DHCP
这样能保证IP地址是固定的,而不是动态分配的
修改完成之后保存

3.修改主机名

vim /etc/hostname

改成hadoop102

4.查看映射

vim /etc/hosts

在这里插入图片描述
5.重启

reboot

测试
在这里插入图片描述

按照上述步骤还可继续克隆。

6.安装jdk

1.下载jdk并上传到虚拟机上
在这里插入图片描述

2.安装jdk

tar -zxvf jdk文件名称 -C 执行安装的目录
tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt/module/

3.安装完成来到/opt/module/查看是否存在

4.然后进入安装的jdk的目录

在这里插入图片描述
5.配置jdk的环境变量

cd /etc/ profile.d

在这里插入图片描述
这里面就有后缀是sh的文件,系统启动的时候会加载这些文件

自己创建一个文件my_env.sh,在这个文件里面定义环境变量

sudo vim my_env.sh

在里面写入配置环境变量并保存

在这里插入图片描述
生效环境变量

source /etc/profile

在这里插入图片描述
出现上面内容就可以了

7.安装Hadoop

1.来到software目录下(上传jdk到虚拟机上的时候,把Hadoop文件也一起上传了)
在这里插入图片描述
2.解压缩

tar -zxvf Hadoop文件名称 -C 执行安装的目录
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3.查看module目录
在这里插入图片描述
4.配置环境变量

sudo vim /etc/profile.d/my_env.sh

在这里插入图片描述
5.生效环境变量

source /etc/profile

在这里插入图片描述
6.测试是否成功
在这里插入图片描述

8.完成防火墙、SElinux、时间同步等系统设置

8.1关闭防火墙

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙。

在这里插入图片描述

8.2关闭SELinux

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定。
在当前,我们只需要关闭SELinux功能,避免导致后面的软件运行出现问题即可
在这里插入图片描述

8.3修改时区并配置自动时间同步

以下操作在三台Linux均执行

yum install -y ntp
2. 更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3. 同步时间
ntpdate -u ntp.aliyun.com
4. 开启ntp服务并设置开机自启
systemctl start ntpd
systemctl enable ntpd
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值