本文讨论了MongoDB在处理大量数据删除时遇到的问题，包括存储空洞、内存效率低下和性能下降等。提出了在线和离线优化方案，如逻辑删除转物理删除、数据压缩、手动分片以及硬件和软件升级。对于查询性能和内存管理，建议了查询语句优化、数据规模拆分和避免使用空间索引等策略，以改善MongoDB的服务能力和稳定性。
1、大量删除数据问题及解决方案
- 在线消息定时删除
-
- 请求量增加，垃圾数据需要进行删除
- 离线批量删除
-
- msgid
- content
- timestamp
- flag
- objectid
- from
- to
- msgid
- 针对flag=1时进行删除时的问题，并非索引或者分片结果；
- 更新方式
-
- 业务层优化
-
- 逻辑删除转为直接物理删除
- 离线删除优化
-
- 每晚定时从库导出要删除的数据
- 通过脚本按照objectid方式进行删除
- 删除速度基本可控
- 避免对线上服务影响
2、大量数据空洞问题及其解决问题方案
最低0.47元/天 解锁文章
1796
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
