本文探讨了如何估算Elasticsearch存储文档的成本。通过实验发现，保持字符串值尽可能短有助于减少磁盘使用。长期趋势表明，每条记录平均使用约1157字节。文章介绍了多维度实验，包括不同属性数量、字符串长度和基数的影响，并验证了文档大小与字符串总长度的正比关系。实验结果有助于优化Elasticsearch的数据存储效率。
1.概述
AppDynamics 一直在增加使用 ElasticSearch 来实现对大量数据点的实时分析。其中，我们记录了最终用户对我们产品监控的每个网站的每次访问。每个这样的记录都包含一个 URL、一个服务器响应时间、一个页面呈现时间、浏览器类型、大致的用户位置等。对真实和合成数据进行了大量实验，以提出更好的磁盘使用指南。我们得出的结论是，保持字符串值尽可能短是有帮助的。即使列中值的基数很低，这也是一个好主意。低基数并不能可靠地导致低磁盘使用率。
2.存储成本的长期趋势
在衡量 ElasticSearch (ES) 存储使用情况时，重要的是要意识到短期趋势并不代表长期平均值。事实上，每条记录成本（写入 100 万条或更少的记录）的短期趋势可能是长期成本（1000 万条记录）的 3 倍。我
订阅专栏 解锁全文
扫一扫
1798
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
