带时间戳的大量业务数据运转方案(分表方案)

1 带时间戳的大量业务数据

带时间戳的业务数据,是指在业务系统中,业务数据含有时间属性(例如开始时间,结束时间等等),大量业务数据是指随着业务系统的运转,数据量越来越多,已经达到百万或者千万级别的数据量。

2 业务数据的运转

数据的运转是指随着业务开展,系统数据动态运转的一个过程,例如有新的业务数据进入系统,有部分业务数据发现有错误,需要进行修改,有部分数据要单独提取计算报表。

3 大量业务数据运转的难点

随着业务数据的越来越多,会产生业务数据难以运转的问题,例如:数据量太多,查询太忙,新的业务数据和原始业务数据有联系,计算困难,报表计算不得不从所有业务数据进行筛选,而且筛选次数众多,导致系统性能急剧下降。

4 时间戳分表进行性能优化

业务数据运转过程中,对业务数据的维护经常集中一小段区间内,以时间为例,对业务数据的增删改查操作大部分都集中在最近一年或者两三年内。基于此,我们基于时间对数据进行分表操作,例如将最近三年的业务数据(即可能经常需要维护的数据)单独一张表,以往的历史数据另外单独一张表,这样不仅能够加快效率,还能简化上级业务系统的操作难度。
基于此虽然能够加快效率,但是也需要花费精力对数据进行维护,例如可能会产生冗余数据,第二年的时候,又需要将数据重新维护到历史记录表中。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值