Elasticsearch 集群规划之内存、磁盘、节点数、分片数的问题

 这篇文章主要包括以下几个点展开，一个是内存分配的问题，一个是节点数的问题，一个是分片数量的问题，还有就是磁盘的问题。这是我目前遇到的一些最需要考虑的问题，我看了很多文章，进行一些摘录。

 

# # 集群规模和容量规划预估方法

容量规划——预估集群中每个节点的分片数、内存及存储资源。

吞吐量规划——以预期的延迟和吞吐量估算处理预期操作所需的内存，计算和网络资源。

以上的任何一个问题，都会直接成为瓶颈。

 

# # 磁盘相关，容量评估

第一，问自己几个问题：

您每天将索引多少原始数据（GB）？

您将保留数据多少天？

每天增量数据是多少？

您将强制执行多少个副本分片？

您将为每个数据节点分配多少内存？

您的内存：数据比率是多少？

第二，预留存储以备错误。(Elastic 官方推荐经验值）

预留 15%警戒磁盘水位空间。

为错误余量和后台活动预留+ 5％。

保留等效的数据节点以处理故障。

第三，容量预估计算方法如下：

总数据量（GB） = 原始数据量（GB） /每天 X 保留天数 X 净膨胀系数 X （副本 + 1）

磁盘存储（GB） = 总数据量（GB）* ( 1 + 0.15 + 0.05)

数据节点 = 向上取证（磁盘存储（GB）/ 每个数据节点的内存量 / 内存：数据比率）+ 1

Tips：腾讯云 在 2019 4 月的 meetup 分享中建议：磁盘容量大小 = 原始数据大小 * 3.38。

 

# # 分片数的问题

分片预估
第一，问自己几个问题：

您将创建多少索引？

您将配置多少个主和副本分片？

您将在什么时间间隔旋转索引？

您将保留索引多长时间？

您将为每个数据节点分配多少内存？

第二，经验值（Elastic 官方推荐）

每 GB JVM 堆内存支持的分片数不超过 20 个。

每个分片大小不要超过 50GB。推荐阅读：https://www.elastic.co/cn/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster

Tips：

将小的每日索引整合为每周或每月的索引，以减少分片数。

将大型（> 50GB）每日索引分拆分成小时索引或增加主分片的数量。

第三，分片预估方法如下：

总分片数 = 索引个数 X 主分片数 * （副本分片数 +1）X 保留间隔

 

# # 节点数

总数据节点个数 = 向上取整（总分片数 / (20 X 每个节点内存大小））

 

# # 总结 

 对于集群规划，我的理解是从计算数据量开始的，这个时候就要确定硬盘的大小了，加上冷热分备的原理，这里可以考虑使用固态硬盘来做提升，这个问题也是我最关心的。后边会出一个使用固态硬盘的数据对比。

  整体来讲的话是一个倒推的过程：

 确定数据的总量以后，就可以根据分片原则确定分片数量（原则是上限为50G，20~30G为最佳）；

  所以（总的预估的数据量 + 预估增长的总量） /  20 = 总分片数 

 再根据每跟个分片都要占有一定大小堆内存的原则，可以确定总的堆内存（原则就是：每 GB JVM 堆内存支持的分片数不超过 20 个）

    所以 ： 总的堆内存 = 总分片数 / 20 

 最后根据每个节点堆内存的分配不要超过32G 的原则

 所以 节点数 = 总的堆内存 / 31 

 

PS ~ 待补充

# # 使用固态硬盘对集群带来的提升

 

# #  在预算的基础上，增加节点，带来的提升

 

# #  在预算的基础上，增加堆内存带来的提升

 

参考：https://blog.csdn.net/laoyang360/article/details/103545432