大数据集群规划简介
1:服务器配置
- kafka 内存:64GB(以上) DDR4;硬盘:2600GB SAS 硬盘(系统盘);128T SATA硬盘;磁盘推荐raid1
- hdfs+hbase+hive 推荐配置----内存:256GB DDR4;硬盘:2600GB SAS 硬盘;128T SATA硬盘;raid0
- elasticsearch 推荐配置----内存:256GB DDR4(越大越好);2600GB SAS 硬盘;128T SATA硬盘;推荐raid0,有副本冗余机制。磁盘》=20*内存
2:集群数量规划
zookeeper :(100台服务器下)3台; (>=100)5台
kafka:根据数据量的io需求实际测试
点数计算方式:
按照吞吐量计算:X(总吞吐量,MB/秒) / 100(单节点最大Producer吞吐量,MB/秒) / 0.85(预留比例)
按照存储量计算:X(总吞吐量,MB/秒) * 3600 * 24 * D(天数,默认7)* 2(副本数) / 1024 / 1024 / (25 * 0.96) / 0.85(预留比例)
二者取大值,最少配置2台。
hbase:hbase数据写入快,节点数计算公式:
节点