Hadoop-3.3.0 完全分布式集群搭建方法
一、Hadoop是什么?
一个hadoop集群主要包含三个主要的模块:Mapreduce,hdfs,yarn。mapreduce是一个分离在合并的计算框架,注意他不是一个集群,而是一个编程框架。hdfs是一个分布式文件系统,是一个分布式集群,用于存放数据。yarn集群是负责集群任务调度和运算资源管理的分布式集群。
二、搭建步骤
1.新建虚拟机
-
下载VMware安装程序(自行寻找资源)

-
执行安装程序并自行决定安装设置
-
这样就安装好了VMware软件。
-
安装Linux
下载centos镜像文件
在阿里云站点寻找自己想要的版本
链接:http://mirrors.aliyun.com/centos/
下面介绍我自己的版本:
打开链接地址后

下载readme文件,并使用记事本打开
访问圈起来的那个链接,并再次按照步骤点击。


点击并等待下载完成即可。
在虚拟机中安装CentOS7操作系统(Linux)安装之前设置
在上图点击创建新的虚拟机


点击下一步,选择安装系统的镜像文件iso,点击下一步


设置个性化Linux全名、用户名和密码(自定),尤其是密码自己一定要记住,因为安装系统中还需要使用。(此处我的系统的密码为7526424,以免忘记),然后点击下一步

设置虚拟机存盘的位置,此处最好选择比较大的磁盘,以便能够存储下整个虚拟文件,然后点击下一步

这里设置的路径是你这个虚拟机存放的位置,建议非系统盘,因为我们会用到三台机器所以提前做好文件规划,(可以为 Hadoop–》master,slave1,slave2)



设置磁盘大小(保持默认大小即可),然后点击下一步



本文详细介绍了如何在Linux环境下搭建Hadoop-3.3.0的完全分布式集群,包括新建虚拟机、安装配置JDK、规划Hadoop集群角色、配置网络和SSH免密登录、分发安装包、编辑配置文件、格式化NameNode以及启动关闭Hadoop集群的步骤。
最低0.47元/天 解锁文章
9637

被折叠的 条评论
为什么被折叠?



