数据库SQL千万级数据规模处理概要

我在前年遇到过过亿条的数据。以至于一个处理过程要几个小时的。后面慢慢优化，查找一些经验文章。才学到了一些基本方法。综合叙之，与君探讨之。

1. 数据太多。放在一个表肯定不行。

比如月周期表。一个月1000万，一年就1.2亿，如此累计下去肯定不行的。所以都是基于一个周期数据一个表。甚至一个周期数据就要分几个分表。主要是考虑实际的数据量而定。当你创建一个新表时，可能这个表需要有索引，但是都要先取消索引，或者先建立表，导入数据后，再建立索引。

必要时处理完，统计完后，就备份到磁带或者其他介质。然后清掉。

从问题域来看，一个周期内的数据关联性最大。比如统计一个客户某个帐期的话单总额，同比上月增幅，还有就是零话费客户等。如此种种，参照的数据不外乎本周期，或者两个周期，甚至更多就是一个季度，或者半年的样子（类似三个月连续零话费，或者三个月连续欠费未交之类的，保存量之类的报表可能会要一年的数据）。而且这样的情况在数据挖掘或者高级管理报表中比较常见，一般营业部门使用的界面中，是不可能含有这样的统计的。

所以数据按表分开，甚至于可以按数据库分开，更便于管理。

大家要打消一种固有的思路，这些数据，跟环卫工人处理垃圾一样，是几乎有点带人工处置的多步骤方式，也就是不会作为常规数据（如客户基本资料等）长期存在和频繁使用的。所以我们可以改变思路，就是想尽办法，在需要的时候，做最佳处理，而在不需要时，清理掉它。也就是说，比如分表，你可以分100个表，1000个表都可以。只要方便统计和得到所需数据即可。

view