大数据搭建集群规模

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/WYpersist/article/details/80158040

大数据搭建集群规模,我们需要在正式搭建集群之前,需要准备好,即是计划集群的规模情况,否则后面容易出麻烦。

如:

服务器为一台128G内存华为服务器

硬盘raid0之后为14T

安装Esxi6.0系统。

服务器一台,内存128G10C,安装windows操作系统

服务器规划

  服务器安装ESXI5.5,虚拟出4centos6.5服务器3内存32G2C,用于搭建大数据环境;另1台内存16G2C,安装OraclemysqlTomcat等软件作为应用服务器。

具体举例:

1.整体规模分配

  2台(Namenode HA,Resourcemanager HA,Hmaster HA)

  10台(Datanode,nodemanager,journalnode,Regionserver)

  1台(hive,sqoop,oozie,hue)

  3台(zookeeper)

2.内存以及cpu分配

  cpu:

    32-64核

  内存:

    64-128G

3.具体分配

  Namenode:16G

  Resourcemanager:2G

  Hmaster:2G

  ----------------------------------------------20G

  Datanode:1G

  nodemanager:1G

  journalnode:1G

  Regionserver:16G

  ----------------------------------------------20G

  hive,sqoop,oozie,hue:1G

  -----------------------------------------------1G

  ZK:2G

    要求磁盘读写更快

  -----------------------------------------------2G

  yarn:

    )yarn.nodemanager.resource.memory-mb:8192
    给定的是每个NM节点,任务运行允许分配的内存大小,工作中一般都会改大, 16*1024 或 24*1024


    )yarn.nodemanager.resource.cpu-vcores:8
    给定的是每个NM节点,任务运行允许分配的CPU大小,必须和memory-mb转换为GB一样的值一样,工作中一般都会改大, 16 或 24

4.网络配置

  万兆

  千兆:这时,瓶颈出现在网络上

5.数据量规划

  1~3千万的数据量,大约400W

  需要磁盘50G。

6.job数据规划

  总数量在40个左右,mr程序30个左右,hive不到10个

阅读更多

扫码向博主提问

菜鸟级的IT之路

非学,无以致疑;非问,无以广识
  • 擅长领域:
  • Hadoop
  • Spark
  • Java后端
  • HBase
去开通我的Chat快问
换一批

没有更多推荐了,返回首页