每秒2万条
一分2*60=120万
一小时 120*60=7200万
每条按1K计算
72000000*1K=70312.5Mb=68.6645508Gb
硬盘
一个月 69G*24*31=51336G=50T
每数据备份三份: 50T*3=150T
数据冗余20%: 150*0.2=30T
文件系统:3T
总共硬盘:150+30+3=183T
规划
20台服务器
每台5个硬盘,每个硬盘2T
每台内存: 128GB(spark随计算复杂度对内存需求越高)
每台:24CPU
参考博客
http://www.itweet.cn/2016/01/25/Hadoop-Disk-Planning/
https://hadoopecosystemtable.github.io/
http://www.aboutyun.com/thread-17211-1-1.html
https://bigdata-ny.github.io/2016/08/21/airbnb-hadoop-hive/
https://yq.aliyun.com/articles/59064
http://www.ha97.com/5673.html
转载于:https://blog.51cto.com/chenshenglong/1870980