在业务中,经常会遇到单一表数据量过大的问题,在查找时速度逐渐变慢,更新操作也不敢太频繁,存在高并发时的性能问题,还有心理问题,一张数据量庞大的表,总会担心什么时候会崩掉
为了解决这个问题,我们可以对一张大数据量的表进行水平切分,水平切分的意思就是把数据记录分摊出去,不会影响业务,提高一点性能,不是按照列切分(这叫垂直切分)。但是呢,水平切分也会造成数据维护起来比较麻烦。
怎么个切分法?
我的做法是创建一张模板表,然后根据完整业务的最小单位(比如电商系统,订单是最小单位;数据处理系统,任务是最小单位等等),把任务平均存储在不同的数据库表中,这些数据库表是以模板表动态创建的。这个动态创建的依据,可以是跟业务有关,也可以是纯技术手段。我选用hashCode生成n张表,所有的记录会根据任务id的hashCode计算,存储在不同的表中,表的区分加后缀名区分即可。
比如:
模板表:t_table
实际表:t_table_1
t_table_2
t_table_3
…
t_table_n-1
t_table_n
简单说下具体要怎么应用,以mybatis为例
1.数据库要先有模板表t_table
2.代码生成策略,这里调用hashCode生成n:
public static String hashTableNum(String id) {
int code = Math.abs(id.hashCode()) % 500 + 1;
return code + "";
}
3.在mybatis中创建新表
<update id="createNewTable" parameterType="java.lang.String">
CREATE TABLE IF NOT EXISTS ${tableName} LIKE t_table;
</update>