- 博客(2)
- 收藏
- 关注
RSS订阅原创 elasticsearch(es)- 在数据量很大的情况下（数十亿级别）提高查询效率
这里有个真实的案例。然后这样的话，你大量的时间是在访问热数据 index，热数据可能就占总数据量的 10%，此时数据量很少，几乎全都保留在 filesystem cache 里面了，就可以确保热数据的访问性能是很高的。根据我们自己的生产环境实践经验，最佳的情况下，是仅仅在 es 中就存少量的数据，就是你要用来搜索的那些索引，如果内存留给 filesystem cache 的是 100G，那么你就将索引数据控制在 100G 以内，这样的话，你的数据几乎全部走内存来搜索，性能非常之高，一般可以在 1 秒以内。
2024-06-19 13:50:34
2337
原创 es冷热数据读写分离
冷数据索引：查询频率低，基本无写入，一般为当天或最近2天以前的数据索引热数据索引：查询频率高，写入压力大，一般为当天数据索引当前系统日志每日写入量约为6T左右，日志数据供全线业务系统查询使用。查询问题：高峰时段写入及查询频率都较高，集群压力较大，查询ES时，常出现查询缓慢问题。写入问题：索引峰值写入量约为12w/s，且无副本。加上副本将导致索引写入速度减半、磁盘使用量加倍；不使用副本，若一个节点宕掉，整个集群无法写入，后果严重。
2024-06-19 13:46:49
511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人