1 带时间戳的大量业务数据
带时间戳的业务数据,是指在业务系统中,业务数据含有时间属性(例如开始时间,结束时间等等),大量业务数据是指随着业务系统的运转,数据量越来越多,已经达到百万或者千万级别的数据量。
2 业务数据的运转
数据的运转是指随着业务开展,系统数据动态运转的一个过程,例如有新的业务数据进入系统,有部分业务数据发现有错误,需要进行修改,有部分数据要单独提取计算报表。
3 大量业务数据运转的难点
随着业务数据的越来越多,会产生业务数据难以运转的问题,例如:数据量太多,查询太忙,新的业务数据和原始业务数据有联系,计算困难,报表计算不得不从所有业务数据进行筛选,而且筛选次数众多,导致系统性能急剧下降。
4 时间戳分表进行性能优化
业务数据运转过程中,对业务数据的维护经常集中一小段区间内,以时间为例,对业务数据的增删改查操作大部分都集中在最近一年或者两三年内。基于此,我们基于时间对数据进行分表操作,例如将最近三年的业务数据(即可能经常需要维护的数据)单独一张表,以往的历史数据另外单独一张表,这样不仅能够加快效率,还能简化上级业务系统的操作难度。
基于此虽然能够加快效率,但是也需要花费精力对数据进行维护,例如可能会产生冗余数据,第二年的时候,又需要将数据重新维护到历史记录表中。