针对30亿日志的检索+分页+后台展示需求，文章讨论了Oracle分区表存在的问题及优化建议。建议使用Hive或ES存储，Hive适合大容量且模式固定，ES则适合检索需求。同时强调了存储、检索和扩展性问题的解决方案，提倡业务层自定义拆分以应对数据量增长。
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。
需求：
（1）按照某些特定检索条件查询日志；
（2）通过前台Web页面查询并显示相关日志信息；
（3）检索需求包含用户，时间段区间，类型等特定字段；
希望做到：
（1）查询速度尽可能快；
（2）支持分页查询；
目前方案：
日志信息存储在Oracle中，根据日期对Oracle做了分区处理，每天生成一个分区表，每个分区表中的数据总量大概在1000W左右。在相关查询字段例如用户，类型上建立索引，来满足不同维度的查询需求。
潜在问题：
跨分区的查询，求记录总数（计算分页时的查询），耗时要3-4分钟&#
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
