集群如何布置+为什么避免小文件
原有数据量10T,每天增量20G,规划一年内不用增加机器,集群如何布置?数据节点:33台(10+20*365/1000)*3=51Thdfs磁盘存储达到0.8就会很慢,再去掉一些中间数据,51/0.7=65T,每台datanode有2T存储,那么需要33台datanode。元数据节点:3台namenode一般在datanode达到上千台时才考虑水平扩展,所以这里namenode一主一备,journalNode 3 台,zk 3 台,hiveserver2 2台, resourceMana.
原创
2020-06-30 09:35:17 ·
140 阅读 ·
0 评论