(一主二从)Hadoop集群搭建

本文详细介绍了如何在Windows10上使用VmwareWorkStation搭建一主二从的Hadoop集群,包括CentOS7虚拟机安装、环境配置、文件传输、JDK与Hadoop的安装、集群配置、启动与测试。此外,还涉及了Spark的安装与启动,以及在浏览器中验证集群运行状态。
摘要由CSDN通过智能技术生成

一、环境安装

基于windows10系统,通过Vmware Worlstation创建CentOS7虚拟机,安装Hadoop2.7.7

VmwareWorkStation安装

我下载的是vmworkstation16Pro,官网链接: vmware workstation.

Xshell和Xftp安装

官网提供了免费了家庭个人版,给出官网链接如下 Xshell和Xftp.

下拉网页,看到这个界面,填写个人姓名和邮箱,勾选“两者”,点击下载,官网会把下载链接发送到个人邮箱中,进入个人邮箱查看下载
在这里插入图片描述
点击邮箱的链接即跳转下载,和普通软件安装一样没有什么特殊的地方,路径可改到其他盘中

jdk1.8.0和Hadoop2.7.7压缩包

这里提供了供Linux使用的jdk1.8.0和Hadoop2.7.7压缩包

链接:https://pan.baidu.com/s/1goo-iNaVWTvIW2vOE4g3jQ#list/path=%2F,提取码:lxho

二、虚拟机安装

镜像采用的是CentOS-7-x86_64-Minimal-2009.iso
给出镜像下载地址:CentOS 7.

1、打开VmwareWorkstation,菜单栏上----文件----新建虚拟机----典型(推荐)----安装程序光盘映像文件选择刚刚下载镜像的路径----给虚拟机分配路径----最大磁盘大小最少选择20G,可以选择更大的(将虚拟硬盘拆分成单个或多个都可以,多个方便转移)----下一步点击自定义硬件,内存推荐2G以上,不要超过系统建议的最大内存----关闭后点击完成。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.进入虚拟机后选择第一项,回车
在这里插入图片描述

3.选择中文----简体中文----点击继续
在这里插入图片描述
4.点击网络和主机名(刚进入应该显示的是红色的已选择自动分区)
在这里插入图片描述
5.点击完成
在这里插入图片描述
6.打开右侧的以太网按钮,记住以太网括号右侧的ens33,有的设备可能不一样以你的设备为准,如果和ens33一样下文不需要记,然后记下2所示的四个信息,默认路由也就是后文的网关,点击配置。
在这里插入图片描述

7.点击IPV4设置,方法改成手动,点击右边的添加,地址指刚刚记下的IP地址,网关就是刚刚的默认路由,DNS服务器注意和刚才的无关,这里我选择的是谷歌的两个DNS 8.8.8.8和8.8.4.4,注意两个DNS之间以“,”分割。也可以使用其他的DNS,这里不列举了。勾选下方的“需要IPV4完成这个连接”,点击保存即可。
在这里插入图片描述
8.更改主机名,点击应用
在这里插入图片描述
9.确认以太网已链接和主机名,点击左上角的完成

在这里插入图片描述
10.点击安装
在这里插入图片描述
11.等待安装的过程中,我们设用户名和登录密码
在这里插入图片描述
12.用户名默认为root,密码这里设为123456,请牢记自己的密码,这里因为提供的密码强度低所以需要点击两次完成
在这里插入图片描述
13.完成安装之后系统会重新启动,输入用户名和密码进入登录界面
在这里插入图片描述

三、测试ping和基本CentOS的配置

1.ping百度看看网络是否链接成功,ping其他的也可以

ping www.baidu.com
ping通的界面应该是这样的
在这里插入图片描述
2.更新yum源
yum -y update
看到下面的complete!则说明更新成功
在这里插入图片描述
3.关闭系统防火墙
先输入临时,再输入永久的命令
临时关闭防火墙systemctl stop firewalld.service
永久关闭防火墙systemctl disable firewalld.service
显示两根Removed说明关闭成功
在这里插入图片描述
4.关闭Linux安全内核
vi /etc/selinux/config
输入这串命令之后进入了配置文件,按下键盘的i键,可以看到下方变成了“插入”,方向键移动光标到SELINUX=那里,改为如图所示的内容,然后按下“esc”键,依次按下键盘的“:wq”(代表写入保存并退出)。
在这里插入图片描述
为了检查刚才是否编辑成功,我们使用cat来查看,输入cat /etc/selinux/config,会自动显示刚才的配置文件内容在这里插入图片描述
输入reboot重启系统
重启系统后,输入==/usr/sbin/sestatus -v==,确认安全内核已被禁用在这里插入图片描述
5.安装vim编辑器
yum install vim -y

6.更改hosts文件
vim /etc/hosts
按照之前的编辑操作,分别输入以下三列内容,第一列表示当前虚拟机(主机)的ip地址+名字,第二列表示从机1的ip地址+名字,第三列表示从机2的ip地址+名字。之后进行保存操作。
注意ip地址最后一位数应该依次递增,如主机末尾为128的8,则从机1为129,从机2为130.

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值