——本教程是一个系列教程,会详细的讲述自己配置HDFS集群系统的步骤
第一步:明白HDFS
一、HDFS的概念
-
HDFS:Hadoop Distributed File System Hadoop 分布式文件系统,主要用来解决海量数据的存储问题
-
设计思想:分而治之,即将大文件,大批量文件,分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析。
二、一个HDFS个人怎样搭建
- 学习HDFS,首先需要一个可运行的HDFS集群,而搭建一个HDFS集群,则需要准备多台Linux服务器,如果购买真正的计算机来安装Linux系统作为服务器,在学习的阶段显然成本太高,我们可以通过虚拟机技术,快速获得多台自己的虚拟Linux机器,并在这些虚拟机器上部署我们的HDFS集群,依次就可以实现个人搭建HDFS集群系统。
- 本人此教程搭建的HDFS采用1个客户机和6个服务器节点(即6个Centos版本的虚拟机)
第二步:安装虚拟机
这个可以去看我另一个安装Ubuntu系统的教程,里面有安装虚拟机VMware的步骤,这里为了篇幅简明就不再叙述;
第三步:安装Linux虚拟操作系统——我选用的是Centos版本的
-
打开虚拟机:选择新的虚拟机
-
选择:自定义(高级)
-
没有指出的步骤,你就选择 下一步 即可(缩短文章篇幅)
-
这一步选择 稍后安装
-
这一步:首先选择:Linux(L),之后选择:CentOS 7 64位(注:这里选择的版本要和你之后下载的Centos版本对应,选的时候如果你有下载了Centos就去和你下载的版本保持一致,如果没有的可以选择和我一样,因为这个版本在网上挺好找到)
-
虚拟机路径:你最好修改一下,不要都放在C盘下,因为后期很容易出错,都放C盘出错了可能会影响到系统,但是你在选盘的时候也应该选择一个空闲较大的盘(至少20G吧),后面要用到!
-
处理器核的选择
-
内存选择:2G就够用了(这里直接点标红的地方,不用一点一点的加)
-
网络类型:这里一定要选择:使用桥接网络,因为使用桥接模式使得虚拟机创建的系统可以是一台“独立的计算机”,即可以配置固定的IP地址,后期可以通过IP地址访问它,并将他作为一个独立的节点!!!
-
下一步 即可
-
磁盘容量:这里我选择的是20G,因为我后期要在本地上创建6个一样的服务器,担心内存不够,所以就给了20G,如果你的内存很多,你也可以多分配一些
-
下一步
-
这里选择:自定义硬件
-
这里是导入CentOS的镜像文件:这里你可以去网上下载一个版本为7的,我使用的版本是:CentOS-7-x86_64-DVD-2009.iso(建议和我保持一致,后面配置环境就会一样),弄好之后选择:关闭
-
配置好之后选择:完成
-
完成之后,选择:开启此虚拟机,之后进入这里:这里我试过,你就鼠标点击黑屏内部,敲回车即可,不影响的,如果你看不见你鼠标,可以 Ctrl+Alt 从黑屏中显示出鼠标箭头
19. -
配置语言:直接在下面搜索:Chin…,选择中文
-
进入此界面之后,选择:软件选择
-
选择:计算节点,点击:完成(出来之后稍微等一会)
-
然后选择:开始安装,如果你的开始安装是灰白的,点击不了,你在上面滚动鼠标到系统,点击有感叹号的,比如我的是安装位置,进去之后再次点击 完成,等它出来之后你就发现没有叹号了,之后选择开始安装
-
点击:ROOT密码,设置登录密码 ,建议从简,设置复杂了后期登录的时候也很烦(这里如果你设置的很简单,你就需要点击两次完成才能退出)
-
之后等待……(大概三、五分钟吧)
-
之后选择:**重启!**在等待一下,就可以输入:root,密码登录。账号要输入:root!
-
这就完成了一个虚拟机的安装!
第四步:重复第三步
重复上述步骤,安装六个服务器(6个虚拟机)!
第五步
记得点赞+关注咯…… 这是小白日夜不停,奋发向上学习和分享的动力。^ __ ^