集群搭建实例总结

一:搭建集群关键词:

服务器 :内存 硬盘 CPU

显示屏

网线(光纤)

机柜(机架)

外设(如键盘鼠标等)

交换机

预备电源(备用电源以防意外断电)

二 选择服务器考虑因素:

服务器的类型一般机架式,塔式,刀片式三种

一台服务器的内存至少32GB商业常用为64 128 256居多,硬盘最大容量,一般十几到二十几GB大小,CPU个数,2或者4颗居多,接口类型 一般为SAS,产品结构1U或者2U(U即是服务器的厚度单位)

如搭建200T容量的集群所需实际磁盘空间考虑的因素:

首先有三个副本即200T*3=600T

然后磁盘的利用率(实际存放的数据空间量)为85%即是600T/0.85=705T+45T(预算空间)=750T

以集群中配置服务器最大内存为24T为例所需datanode节点数

750T/24T=37个+NN +SNN+RM+RM备用+Zookeeper(Jounal Node)*3=44台

解释如下:

37为Datanode个数

NN即为NameNode

SNN=StandbyNameNode为NN的备用结点.

RM为RourseManager

ZK与JN在同一台节点上,因为一旦NN发生故障ZK会读取JN的信息,以便于将转移的SNN中

为了降低集群的耦合性.以防在集群发生故障时,避免造成无可挽回的损失从而将RM与NN剥离到两个节点上

三 下面两张图为别为集群的报表图,和集群的搭建图

更多服务器实时信息和更为详细参数参见 中关在线http://detail.zol.com.cn/389/388856/param.shtml