大数据集群资源预估规划【适用于面试与工作集群规划】

问题导读
1.如何判断数据增量？
2.QPS如何计算？
3.存储空间需要考虑哪些因素？
4.内存估算和哪些因素有关？

我们在实际工作，或者面试中，经常会遇到这么一个问题，集群该如何规划，一台机器多少磁盘，多少内存，多少core等。

关于公司集群规模，有的几台，有的几百或有的则几千台，那么这几百几千台机器他们的配置是怎么样的？

这里先说下大概，对于大多数公司来说，集群有的10来台，而对于电信行业，一个地方的可能有几百台，对于一线互联网集群规模就比较大一些，上千台是比较常见的。     

那么如果我们要搭建大数据平台，集群该如何规划？这是我们初步搭建集群的时候，首次遇到的问题。

对于需要多少台机器，其实这个问题，不能一刀切的回答，具体情况具体分析。虽然一开始我们不知道多少台机器，但是我们可以知道影响的关键因素？
那就是数据的增量是多少？
数据的增量，这里我们来说下数据增量：
其实数据的增量不同的公司，也是不一样的，有的公司数据增量也就是几个G，而有的公司数据增量1T以上，比如物联网大数据。除了数据增量，还有其它影响因素，比如使用的计算组件，使用MapReduce和Spark,Flink在内存的使用上，肯定是有区别的。再比如QPS也影响着系统的资源分配。

除了影响因素，那么我们预估集群包含哪些步骤？

1.判断计算