（三）大数据集群规划简介

大数据集群规划简介

1:服务器配置

• kafka 内存：64GB（以上） DDR4；硬盘：2600GB SAS 硬盘(系统盘);128T SATA硬盘；磁盘推荐raid1
• hdfs+hbase+hive 推荐配置----内存：256GB DDR4；硬盘：2600GB SAS 硬盘;128T SATA硬盘；raid0
• elasticsearch 推荐配置----内存：256GB DDR4（越大越好）；2600GB SAS 硬盘;128T SATA硬盘；推荐raid0,有副本冗余机制。磁盘》=20*内存

2:集群数量规划

zookeeper	:(100台服务器下)3台；	（>=100）5台
kafka:根据数据量的io需求实际测试
		点数计算方式：
			按照吞吐量计算：X（总吞吐量，MB/秒） / 100（单节点最大Producer吞吐量，MB/秒） / 0.85（预留比例）
			按照存储量计算：X（总吞吐量，MB/秒） * 3600 * 24 * D（天数，默认7）* 2（副本数） / 1024 / 1024 / (25 * 0.96) / 0.85（预留比例）
			二者取大值，最少配置2台。
hbase:hbase数据写入快，节点数计算公式：
		节点