搭建Hadoop集群,一个月6T的数量需要几台服务器

配置几个namenode,几个datanode,namenode和datanode怎么部署,内存与硬盘大小。


最好是两个做成HA
关于硬盘:
    6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储;(这里我说的是一个月的,你数据保存几个月,就乘几倍)
    如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了.
    一般是这样计算硬盘大小

    (原始数据+中间数据+结果数据)*副本数量=总硬盘大小

关于内存:
    namenode不用说了,主要就是用内存保存block和node之间对应关系的,也是要根据数据大小计算的,6T/Block大小(默认为128M)=有多少block-->M个

    一个block占多少内存: 保守地设置每一百万数据块需要1000MB内存
    namenode总内存(兆M)=M*1000MB/100万

    datanode的内存: 一般问题不大,一般都是用于mr的计算,这个东西根据你性能的需要设置

关于多少台机器?
    根据Task任务的数量和你的性能指标来做决定

    一个Block对应一个Mapper任务,上面算出来M个Block了,mapper任务也是那么多

    实际测试一下,一定数据量在x台机器上运行时间,根据你的指标去评定要多少台机器

    hadoop集群的性能和节点个数近似成正向关系

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值