mysql过期数据_MySQL大表数据过期策略设计

缘起：

你有没有在工作中接手一个烂摊子项目，数据库很多表数据上亿，而且越来越大？但是数据库中有效的数据只有几百万上千万，给你你该怎么办？

为什么会出现这种问题呢？

项目初期未考虑数据过期问题，导致数据越来越多，几年之后数据直接上亿

数据存储不合理，导致各种数据都存起来，无法有效删除

表设计必要字段：新增create_time,update_time字段

为什么需要提到表设计，因为笔者在工作中遇到过类似问题，某些表数据已经超过1亿，但是表字段没有创建时间和修改时间，这导致无法通过这个表来删除过期数据，如下：

user_item_info(uid, item_id,num)

经过血与泪的洗礼，笔者强烈建议表设计必须带上create_time,update_time字段，如

user_item_info(uid, item_id,num,create_time,update_time)

参考方案一：设计初期考虑并处理

玩家登陆时候删除过期数据。

如果表数据量在100w一下，可以在每天业务低峰期通过定时任务删除过期数据。

如果表数据量在100w以上，可以考虑一下这些数据是否有必要，如果是过期时间很快的是不是考虑一下redis？

如果确实有这么大的数据量，通过定时脚本，从从库查询过期数据，保存主键，通过脚本任务从主库慢慢删除

参考方案二：系统已经上线运行多年

如果数据不需要一定保证强一致性，可以允许