【项目实战】——历史数据归档

迁移目标

        按季度(每个租户自定义季度日期且各不相同)划分,有明显的冷热数据区分,目标将冷数据分隔,减少单表过大,提供SQL等业务处理能力,期待预期按租户自定义时间迁移,且迁移过程实现自动化,无需人工干预。

归档方案

        按各租户自定义中季度日历进行迁移,热数据保留最近四个季度的数据,其他数据,以日历中设定的春暑秋寒四个季度为年,进行年维度的历史数据归档。

执行方案

定时任务,每日执行定时任务,判断各个租户当前所属季度,判断上一年的该季度数据是否已经完成迁移,无迁移记录,则进行数据迁移。

1、动态的创建归档数据表,此过程需要可复用,以满足多个数据表迁移归档的需求

2、分校存在一个季度有两种日历的情况,需要数据全部迁移不可遗留

3、迁移的数据明细需要被记录,以此保证幂等,避免数据被重复迁移

核心逻辑过程

1、判断目标表是否存在,不存在则创建

select count(*) from information_schema.TABLES where table_name = #{tableName}

返回数据为0,则证明数据表不存在,创建目标表

利用mybatis中${},将表名称和数据结构传入,进行创建

<update id="createTable">
    create table ${tableName} ${content}
</update>

2、批量数据迁移提升效率

1).INSERT INTO SELECT语句

      语句形式为:Insert into Table2(field1,field2,...) select value1,value2,... from Table1

      要求目标表Table2必须存在,由于目标表Table2已经存在,所以我们除了插入源表Table1的字段外,还可以插入常量。

 2).SELECT INTO FROM语句

      语句形式为:SELECT vale1, value2 into Table2 from Table1

      要求目标表Table2不存在,因为在插入时会自动创建表Table2,并将Table1中指定字段数据复制到Table2中

数据迁移以年为单位,目标表Table2在迁移的时候一定是存在,故选用INSERT INTO SELECT方案,替代Insert INTO table(field1,field2,...) values(value1,value2,...)提升迁移效率,避免大量数据查询再插入带来应用服务器压力

3、记录已经迁移的数据(可复用)

CREATE TABLE `tb_move_data` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id',
  `biz_id` varchar(32) NOT NULL COMMENT '业务id',
  `city_code` varchar(8) NOT NULL COMMENT '租户代码',
  `table_name` varchar(32) NOT NULL COMMENT '表名',
  `num` int(11) NOT NULL COMMENT '迁移条数',
  `year` int(8) NOT NULL COMMENT '年',
  `term` int(8) NOT NULL COMMENT '季度',
  `start_time` datetime NOT NULL COMMENT '开始日期',
  `end_time` datetime NOT NULL COMMENT '截止日期',
  `deleted` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否删除',
  `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='数据迁移记录';

利用insert into select 可以获取到迁移数据条数,将其他业务信息拼接插入即可。

4、迁移完成后,移除原表中的已迁移数据,定期清理数据碎片。

历史数据查询处理

        利用ShardingJdbc的分片策略,因为以年为单位且历史归档表中并没存有关于year相关内容,可以通过Hint指定分片值而非从SQL中提取分片值的方式进行分片的策略。

public class PlanHintStrategy implements HintShardingAlgorithm<String> {
/**
*
* @param actualTables 物理表
* @param hintShardingValue 分片键,指定的表
* @return
*/
@Override
public Collection<String> doSharding(Collection actualTables, HintShardingValue hintShardingValue) {
List<String> shardingResult = new ArrayList<>();
actualTables.forEach(table -> {
String tableName = (String) table;
String suffix = tableName.substring(tableName.lastIndexOf("_") + 1);
Collection<String> tableNames = hintShardingValue.getValues();
if (tableNames.contains(suffix)) {
shardingResult.add(tableName);
}
});
return shardingResult;
}
}

在查询之前先配置强制路由的分片即可

// Hint分片策略必须要使用 HintManager工具类
HintManager hintManager = HintManager.getInstance();
//查询数据库,可以不配置
hintManager.addDatabaseShardingValue("tb_history_plan", 0);
//查询分片表,可以配置多个
hintManager.addTableShardingValue("tb_history_plan", "2019");
hintManager.addTableShardingValue("tb_history_plan", "2020")
// 直接指定对应具体的数据库
hintManager.setDatabaseShardingValue(1);

关于hint策略推荐博客:https://blog.csdn.net/jobjava/article/details/106325053

©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页