项目问题总结三、分表跨月查询速度优化

2019独角兽企业重金招聘Python工程师标准>>>

    接上文， 短彩信群发平台的一个特点是数据量大。按日均发送量50W条每天，每月数据在1500W左右。 所以历史库采用分表策略， 每月一张表。另外为提高历史表入库速度，建有当天表一张，每天晚上将当天表数据拷贝到当月历史表，并清空当天表。 历史表与用户表、任务表、业务表等多表关联。 用户要求跨月查询，且速度要求快，经协商可查询两个月内数据。

    以上为背景， 根据分表规则，最多是查询三张表。例如查询8月1日到当天的记录，需要查询表t_xxx_history_201208,t_xxx_history_201209和当天表t_xxx_history。普通方法通过union直接查询，每张表数据100W左右就需要1分钟左右。

    笔者采用了另外一种方式来处理，
1、将查询条件分解， 并分别到关联表去查询以得到相应的id列表。
2、根据各关联表id列表和其余查询条件分别count查询t_xxx_history_201208、t_xxx_history_201209、t_xxx_history。然后相加得到总记录数。这样可以计算出总页数，及当前页的记录分布在哪几张表里面。然后依次 从表中获取数据组装成list返回前台显示。 目前每张表数据在1500W左右，查询显示速度在5秒以内完成。

转载于:https://my.oschina.net/robolin/blog/78508