mysql invalid route_一次shardingjdbc踩坑引起的胡思乱想

项目里面的一个分表用到了sharding-jdbc

当时纠结过是用mycat还是用sharding-jdbc的, 但是最终还是用了sharding-jdbc, 原因如下:

1. mycat比较重, 相对于sharding-jdbc只需导入jar包就行, mycat还需要部署维护一个中间件服务.由于我们只有一个表需要分表, 直接用轻量级的sharding-jdbc即可.

2. mycat作为一个中间代理服务, 难免有性能损耗

3. 其他组用mycat的时候出现过生产BUG

然而sharding-jdbc也同样是坑坑洼洼不断的, 我们从2.x版本改成4.x版本, 又从4.x版本降到了3.x版本,每一个版本都踩到了坑(有些是官方的, 有些是由于我们项目依赖的),

最终不得已改动了一下源码才趟过去(其实就是注释了一行代码).

今天就来聊一下其中的一个坑--分表分页

问题描述

背景

CREATE TABLE `order_00` (

`id` bigint(18) NOT NULL AUTO_INCREMENT COMMENT '逻辑主键',

`orderId` varchar(32) NOT NULL COMMENT '订单ID',

`CREATE_TM` datetime DEFAULT NULL COMMENT '订单创建时间',

PRIMARY KEY (`ID`) USING BTREE,

UNIQUE KEY `IDX_ORDER_POSTID` (`orderId`) USING BTREE,

KEY `IDX_ORDER_CREATE_TM` (`CREATE_TM`) USING BTREE

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=COMPACT COMMENT='订单表';

CREATE TABLE `order_01` (

`id` bigint(18) NOT NULL AUTO_INCREMENT COMMENT '逻辑主键',

`orderId` varchar(32) NOT NULL COMMENT '订单ID',

`CREATE_TM` datetime DEFAULT NULL COMMENT '订单创建时间',

PRIMARY KEY (`ID`) USING BTREE,

UNIQUE KEY `IDX_ORDER_POSTID` (`orderId`) USING BTREE,

KEY `IDX_ORDER_CREATE_TM` (`CREATE_TM`) USING BTREE

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=COMPACT COMMENT='订单表';

CREATE TABLE `order_02` (

`id` bigint(18) NOT NULL AUTO_INCREMENT COMMENT '逻辑主键',

`orderId` varchar(32) NOT NULL COMMENT '订单ID',

`CREATE_TM` datetime DEFAULT NULL COMMENT '订单创建时间',

PRIMARY KEY (`ID`) USING BTREE,

UNIQUE KEY `IDX_ORDER_POSTID` (`orderId`) USING BTREE,

KEY `IDX_ORDER_CREATE_TM` (`CREATE_TM`) USING BTREE

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=COMPACT COMMENT='订单表';

假设有以上三个分表, 分表逻辑用orderId取模, 即orderId=0的写到order_00,orderId=1的写到order_01,orderId=2的写到order_02.

备注: 这里为啥不用时间分表而用orderId做hash, 当时也是颇有争议的.

理论上订单表更适合使用时间做分表, 这样一来时间越老的数据访问的频率越小, 旧的分表逐渐就会成为冷表, 不再被访问到.

当时负责人的说法是, 由于这个表读写频率都高(而且场景中经常需要读主库), 用orderId分表可以均衡写负载和读负载.

虽然是有点牵强, 但也有一定道理, 就先这么实现了

业务上需要根据orderId或CREATE_TM进行分页查询, 即查询sql的mybatis写法大概如下:

select

from ORDER

AND orderId=#{orderId , jdbcType=VARCHAR}

AND create_tm >= concat(#{createTmStartStr, jdbcType