hadoop硬件配置 高可用 datanode namenode硬件配置

14 篇文章 2 订阅

每个分布式文件系统分块在NameNode的内存中大小约为250个字节,
此外还要加上文件和目录所需的250字节空间。
500字节 一个块

假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小(64MB)同时副本因子为3,
5000*20GB=102400 000M=97T

那么NameNode需要保存5千万个分块的信息,这些分块的大小加上文件系统的开销总共需要1.5GB的内存。

但是一切并非读者想象的那样,

在大部分情况下Hadoop集群会有更多的文件并且每个文件至少由一个分块组成,

因此NameNode上的内存使用率会更高。

所以根据集群的要求,我们应该预留空间为NameNode配置更多的内存。

为NameNode服务器配备64~94GB的内存是一个不错的选择。

物理CPUV-CPU内存/GB存储/T部署方式用途
32012872物理机数据存储DataNode-1
32012872物理机数据存储DataNode-2
32012872物理机数据存储DataNode-3
32012872物理机数据存储DataNode-4
32012848物理机数据存储NameNode-1+数据接收+BI服务
32012848物理机数据存储NameNode-2+数据接收+BI服务
08100.5虚拟机容器编排系统K8S-MASTER1
08100.5虚拟机容器编排系统K8S-MASTER2
08100.5虚拟机容器编排系统K8S-MASTER3
0480.5虚拟机容器编排系统K8S-NODE1
0480.5虚拟机容器编排系统K8S-NODE2
0480.5虚拟机容器编排系统K8S-NODE3
08160.5虚拟机数据采集集成系统-1
08160.5虚拟机数据采集集成系统-2
0881虚拟机PGSQL数据库服务器-1
0881虚拟机PGSQL数据库服务器-2
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xcagy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值