使用mysql 百万级别数据量
表结构大致如下:基础表中字段artifactId,每个值都不一样。业务表字段artifactId可能会出现少量重复值。基础表和业务表数据量均在百万以上。两个表中还有state字段。state取值范围0-4;最终状态为4.
现业务场景如下:
有两种查询需求,
1、需要对state进行批量查询。 对检查出来的数据做处理,而后对state进行批量更新。每次设置查询数据量设置不超过3000.
2、需要针对artifactId检索具体基础数据和业务数据。查询需求多为状态4.
处理方案如下:
1、针对state状态,对数据表进行分表。
基础表_0123、基础表_4
业务表_0123、业务表_4
2、对业务表4 artifactId建立普通索引。对基础表4建唯一索引。