Hadoop集群搭建 | 使用3台CentOS7系统的虚拟机搭建Hadoop完全分布式集群多节点的纯净系统

最新推荐文章于 2023-03-29 16:10:36 发布
最新推荐文章于 2023-03-29 16:10:36 发布
阅读量2.4k 收藏 3
点赞数 1
分类专栏： # 大数据原理与应用 文章标签： hadoop 分布式 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Unirithe/article/details/121311413
版权
本文详细介绍了如何使用3台CentOS7虚拟机搭建Hadoop完全分布式集群，包括虚拟机创建、CentOS7系统配置、网络设置、用户创建，以及克隆虚拟机并配置IP地址。
摘要由CSDN通过智能技术生成

笔者：unirithe

日期：11/13/2021

注：本篇博文不涉及Hadoop节点的配置

运行环境


CentOS7 镜像下载

http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

一、创建并配置虚拟机

打开VMware 工具，Ctrl + N 新建虚拟机

在这里插入图片描述

选择下载好的iso系统镜像，点击下一步

在这里插入图片描述

设置虚拟机名称，以hadoop为例

在这里插入图片描述

分配40GB的磁盘

在这里插入图片描述

在创建后开启此虚拟机处取消打钩，最后点击完成

在这里插入图片描述

接下来设置虚拟机硬件配置

在这里插入图片描述

根据自身电脑配置，对虚拟机配置进行修改，比如笔者的笔记本配置是16G内存和8核的处理器，所以可以分配如下内存4GB + 处理器2*2 ，之后可以随时修改，只要确保虚拟机配置低于本机即可

在这里插入图片描述

设置完毕后，开启此虚拟机，首次进入系统需要进行安装，如下图所示
在这里插入图片描述

在虚拟机里按方向键，选择第一个选项，回车

（Tips：Ctrl + Alt + Z 热键可以从虚拟机中弹出鼠标）

二、配置CentOS7系统

2.1 设置语言

首次进入系统，需要设置语言，选择Chinese后点击继续

在这里插入图片描述

2.2 设置GNOME桌面环境

点击基本环境，选择 GNOME桌面

最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
为hadoop做准备-----Linux-Centos7虚拟机搭建环境----3台
qq_46073104的博客
07-18 658
Linux-Centos7虚拟机搭建环境----3台 hadoop搭建准备
在三台服务器上搭建完整的Hadoop集群！
weixin_43202895的博客
03-29 1186
文章目录1 实验环境3.1 安装虚拟机3.2 准备工作1）关闭防火墙和Selinux2）安装软件3) 配置网络4）新建hadoop用户5）生成ssh密钥并分发6）安装 NTP 服务3.3 MySQL3.4 JDK3.5 Zookeeper3.6 kafka3.7 hadoop3.8 HBase3.9 Hive3.10 scala3.11 spark3.12 storm4 遇到的问题及解决 1 实验...
Centos 7下VMware三台虚拟机Hadoop集群初体验
a13954278187的博客
11-05 710
一、下载并安装Centos 7 　　传送门：https://www.centos.org/download/ 　 注：下载DVD ISO镜像 这里详解一下VMware安装中的两个过程 网卡配置 是Additional search domains:8.8.4.4也是谷歌提供的免费DNS服务器Ip地址 二、SecureCRT远程操控 pi...
3台机器配置hadoop集群_Centos7.5搭建Hadoop2.7.7完全分布式集群部署
weixin_39850920的博客
11-29 229
Centos7.5搭建Hadoop2.7.7完全分布式集群部署一、安装之前准备工作1.整体规划系统版本：Centos7.5 hadoop-2.7.7 (因为spark使用的是该版本，为了后续扩展spark)jdk 1.8节点配置：10.106.145.181 ——master01.hadoop10.106.145.182 ——slave01.hadoop10.106.145.183 ——slave...
hadoop集群的配置3台基于centos7
欢迎查阅
10-15 242
hadoop集群的配置3台1.网络的配置2.安装jdk3.安装hadoop 1.网络的配置 安装的是centos7。三台主机的ip和主机名分别为： 主机名称 IP hadoop101 192.168.2.131 hadoop102 192.168.2.132 hadoop101 192.168.2.133 2.安装jdk 2.1 检查是否自带了jdk。 rpm -qa|grep java 当显示有java的时候，用rpm命令进行卸载。 rpm -e --nodeps + 包名
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 ...centos7下,roo用户进行如下操作: 查看现有配置文件 本次需要修改ifcfg-ens33(其他系统可能稍有区别,比如ifcfg-ens) vim ifcfg-ens33 重启网络服务: 如果是集群配置,其
大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署
最新发布
HAO的Blog
03-29 2210
安装包：虚拟机联网后可直接通过浏览器进行下载 若在PC机 则需通过工具上传至虚拟机中 （使用xshell或xftp）使用tar命令解压安装包（我的安装包统一放在/opt/software目录下，解压在/opt/module目录）通常出现的第一个此虚拟机使用的虚拟网卡，名称为ens33 对这个网卡的配置文件进行修改。注：本次安装过程使用了简易安装，不使用的话是需要自行选择需要安装的插件和软件。使用vim对 /etc/profile 进行编辑，将以下内容写入。使用命令查看jdk版本，与安装包相符说明配置成功。
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
CentOS7搭建Hadoop集群
01-07
1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 node-3 4.SSH...
Hadoop3高可用集群的CentOS7三节点镜像文件和MapReduce代码样例.docx
12-29
Hadoop安装学习的学生、技术工程师
Hadoop概述及CentOS安装和使用
01-09
Hadoop–入门Hadoop概述及CentOS安装和使用一. Hadoop概述1.HDFS2.MapReduce二.准备工作1.安装虚拟机软件 Vmware Workstation Pro2.安装Linux操作系统（CentOS7.4）下载CentOS镜像文件安装CentOSCentOS配置 Hadoop概述及CentOS安装和使用 一. Hadoop概述 Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称
CentOS分布式部署Hadoop
wm6752062的专栏
01-09 384
以3台CentOS7.3机器为例，分布式部署Hadoop 2.8.5。 一、准备工作 1、基础环境配置 准备3台机器，安装CentOS7.3。节点计划如下： 192.168.23.211 hadoop.master NameNode,DataNode,ResourceManager,NodeManager 192.168.23.212 hadoop.slaver1 Se...
hadoop集群搭建-三台主机
qq_20679613的博客
11-05 1518
CentOS7 的配置 从零开始学大数据。记录一些东西复习。 在进行hadoop的搭建之前，我们需要对CentOS进行一些配置，以兼容简化hadoop的运行环境。在进行配置之前，我们进入CentOS系统，在用户界面选择 NO Listed？输入用户名root以及你配置的密码，默认密码为root。进入系统，选择你习惯的语言，开始你的Linux之旅。 2.1.1系统配置 进入系
VMware安装centos7（用于分布式Hadoop集群部署）
积小流成江河
07-24 596
VMware安装centos7（用于分布式Hadoop集群部署）1.安装VMware Workstation Pro 15下载安装2.安装Centos7下载功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 1.安装VMware Wo
hadoop学习-搭建虚拟机镜像(要使用centos7版本)
烟酒-社会潇洒哥的博客
07-22 306
一，安装docker 步骤省略 二、 参考实例 https://www.cnblogs.com/Jing-Wang/p/10672609.html 启动centos https://www.cnblogs.com/omgasw/p/13680033.html 开启ssh服务 https://www.cnblogs.com/surplus/p/14102884.html 日期替代 https://blog.csdn.net/qq_26530173/article/details/107904520 .
Hadoop集群-完全分布式搭建(Centos7-超级详细)
sy_1999的博客
09-13 1832
Hadoop集群-完全分布式搭建(Centos7-超级详细)
Hadoop 伪分布式环境搭建——hadoop2.8+centos7
gaocui883的博客
06-17 292
引言： 环境： 1、虚拟机：VMware14pro 2、操作系统：centos7 3、Jdk版本：java SE 1.8.0 4、hadoop版本：2.8.4 5、远程连接工具：Xshell6（连接服务器）   和   Xftp6（文件传输）——ps.非必要 一、安装虚拟机 在win...
centOS7搭建hadoop环境
goodgds的博客
05-23 271
centOS7搭建hadoop环境 1.准备3台centOS64 这款centOS安装后没有图形界面，很多软件也需要自己安装 但优点就是这个镜像真的很小，安装也很快！ 1.安装完3个之后，修改Ip地址 （这里是把ip地址修改为静态的） vi /etc/sysconfig/network-scripts/ 编辑ifcfg-ens33里的内容（注意每个人的电脑可能不同） 图中红线框里一定要修改，没有的添加上(HWADDR可以没有） 关于NETMASK,GATEWAY，BROADCAST怎么填，看虚拟机-&g
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值