源码分析MyCat----优化篇之支持ER分片多语句插入(基于1

于 2024-05-28 21:32:57 发布
阅读量902 收藏 20
点赞数 16
分类专栏： 作者\/ 文章标签： android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85111736/article/details/139278634
版权

//结果为空，证明上一级表中不存在那条记录，失败

if (Strings.isNullOrEmpty(result)) {

StringBuilder s = new StringBuilder();

LOGGER.warn(s.append(sc.getSession2()).append(origSQL).toString() +

" err:" + “can’t find (root) parent sharding node for sql:” + origSQL);

if(!sc.isAutocommit()) { // 处于事务下失败, 必须回滚

sc.setTxInterrupt(“can’t find (root) parent sharding node for sql:” + origSQL);

}

sc.writeErrMessage(ErrorCode.ER_PARSE_ERROR, “can’t find (root) parent sharding node for sql:” + origSQL);

return;

}

if (LOGGER.isDebugEnabled()) {

LOGGER.debug(“found partion node for child table to insert " + result + " sql :” + origSQL);

}

//找到分片，进行插入（和其他的一样，需要判断是否需要全局自增ID）

boolean processedInsert=false;

if ( sc!=null && tc.isAutoIncrement()) {

try {

String primaryKey = tc.getPrimaryKey();

processedInsert=processInsert(sc,schema,ServerParse.INSERT,origSQL,tc.getName(),primaryKey);

} catch (SQLNonTransientException e) {

LOGGER.warn(“sequence processInsert error,”,e);

sc.writeErrMessage(ErrorCode.ER_PARSE_ERROR , “sequence processInsert error,” + e.getMessage());

}

}

if(processedInsert==false){

RouteResultset executeRrs = RouterUtil.routeToSingleNode(rrs, result, origSQL);

sc.getSession2().execute(executeRrs, ServerParse.INSERT);

}

}

@Override

public void onFailure(Throwable t) {

StringBuilder s = new StringBuilder();

LOGGER.warn(s.append(sc.getSession2()).append(origSQL).toString() +

" err:" + t.getMessage());

sc.writeErrMessage(ErrorCode.ER_PARSE_ERROR, t.getMessage() + " " + s.toString());

}

}, MycatServer.getInstance().

getListeningExecutorService());

return true;

}

return false;

}

问题出现在这里，，这里把传入的SQL固定认为只会有一条insert into 语句，导致一簇insert into语句，只会第一条语句生效。接下来给出修复代码，并分析一下该方法。

给出的修复代码如下：

/**

  • 该方法，返回是否是ER字表

  • @param schema

  • @param origSQL

  • @param sc

  • @return

  • @throws SQLNonTransientException

  • 备注说明：

  • edit by ding.w at 2017.4.28, 主要处理 CLIENT_MULTI_STATEMENTS(insert into ; insert into)的情况

  • 目前仅支持mysql,并COM_QUERY请求包中的所有insert语句要么全部是er表，要么全部不是

*/

public static boolean processERChildTable(final SchemaConfig schema, final String origSQL,

final ServerConnection sc) throws SQLNonTransientException {

MySqlStatementParser parser = new MySqlStatementParser(origSQL);

List statements = parser.parseStatementList(); // @1

if(statements == null || statements.isEmpty() ) {

throw new SQLNonTransientException(String.format(“无效的SQL语句:%s”, origSQL));

}

boolean erFlag = false; //是否是er表

for(SQLStatement stmt : statements ) { // @2

MySqlInsertStatement insertStmt = (MySqlInsertStatement) stmt; // @3

String tableName = insertStmt.getTableName().getSimpleName().toUpperCase();

final TableConfig tc = schema.getTables().get(tableName);

if (null != tc && tc.isChildTable()) { // @4

erFlag = true;

String sql = insertStmt.toString();

final RouteResultset rrs = new RouteResultset(sql, ServerParse.INSERT);

String joinKey = tc.getJoinKey();

//因为是Insert语句，用MySqlInsertStatement进行parse

// MySqlInsertStatement insertStmt = (MySqlInsertStatement) (new MySqlStatementParser(origSQL)).parseInsert();

//判断条件完整性，取得解析后语句列中的joinkey列的index

int joinKeyIndex = getJoinKeyIndex(insertStmt.getColumns(), joinKey); // @5

if (joinKeyIndex == -1) {

String inf = “joinKey not provided :” + tc.getJoinKey() + “,” + insertStmt;

LOGGER.warn(inf);

throw new SQLNonTransientException(inf);

}

//子表不支持批量插入

if (isMultiInsert(insertStmt)) {

String msg = “ChildTable multi insert not provided”;

LOGGER.warn(msg);

throw new SQLNonTransientException(msg);

}

//取得joinkey的值

String joinKeyVal = insertStmt.getValues().getValues().get(joinKeyIndex).toString();

//解决bug #938，当关联字段的值为char类型时，去掉前后"'"

String realVal = joinKeyVal;

if (joinKeyVal.startsWith(“'”) && joinKeyVal.endsWith(“'”) && joinKeyVal.length() > 2) {

realVal = joinKeyVal.substring(1, joinKeyVal.length() - 1);

}

// try to route by ER parent partion key

//如果是二级子表（父表不再有父表）,并且分片字段正好是joinkey字段，调用routeByERParentKey

RouteResultset theRrs = RouterUtil.routeByERParentKey(sc, schema, ServerParse.INSERT, sql, rrs, tc, realVal);

if (theRrs != null) {

boolean processedInsert=false;

//判断是否需要全局序列号

if ( sc!=null && tc.isAutoIncrement()) {

String primaryKey = tc.getPrimaryKey();

processedInsert=processInsert(sc,schema,ServerParse.INSERT,sql,tc.getName(),primaryKey);

}

if(processedInsert==false){

rrs.setFinishedRoute(true);

sc.getSession2().execute(rrs, ServerParse.INSERT); // @6

}

// return true;

//继续处理下一条

continue;

}

// route by sql query root parent’s datanode

//如果不是二级子表或者分片字段不是joinKey字段结果为空，则启动异步线程去后台分片查询出datanode

//只要查询出上一级表的parentkey字段的对应值在哪个分片即可, 使用parentKey 去异步查询，然后进行分片

final String findRootTBSql = tc.getLocateRTableKeySql().toLowerCase() + joinKeyVal;

if (LOGGER.isDebugEnabled()) {

LOGGER.debug("find root parent’s node sql " + findRootTBSql);

}

ListenableFuture listenableFuture = MycatServer.getInstance().

getListeningExecutorService().submit(new Callable() {

@Override

public String call() throws Exception {

FetchStoreNodeOfChildTableHandler fetchHandler = new FetchStoreNodeOfChildTableHandler();

// return fetchHandler.execute(schema.getName(), findRootTBSql, tc.getRootParent().getDataNodes());

return fetchHandler.execute(schema.getName(), findRootTBSql, tc.getRootParent().getDataNodes(), sc);

}

});

Futures.addCallback(listenableFuture, new FutureCallback() {

@Override

public void onSuccess(String result) {

//结果为空，证明上一级表中不存在那条记录，失败

if (Strings.isNullOrEmpty(result)) {

StringBuilder s = new StringBuilder();

LOGGER.warn(s.append(sc.getSession2()).append(origSQL).toString() +

" err:" + “can’t find (root) parent sharding node for sql:” + origSQL);

if(!sc.isAutocommit()) { // 处于事务下失败, 必须回滚

sc.setTxInterrupt(“can’t find (root) parent sharding node for sql:” + origSQL);

}

sc.writeErrMessage(ErrorCode.ER_PARSE_ERROR, “can’t find (root) parent sharding node for sql:” + origSQL);

return;

}

if (LOGGER.isDebugEnabled()) {

LOGGER.debug(“found partion node for child table to insert " + result + " sql :” + origSQL);

}

//找到分片，进行插入（和其他的一样，需要判断是否需要全局自增ID）

boolean processedInsert=false;

if ( sc!=null && tc.isAutoIncrement()) {

try {

String primaryKey = tc.getPrimaryKey();

processedInsert=processInsert(sc,schema,ServerParse.INSERT,origSQL,tc.getName(),primaryKey);

} catch (SQLNonTransientException e) {

LOGGER.warn(“sequence processInsert error,”,e);

sc.writeErrMessage(ErrorCode.ER_PARSE_ERROR , “sequence processInsert error,” + e.getMessage());

}

}

if(processedInsert==false){

RouteResultset executeRrs = RouterUtil.routeToSingleNode(rrs, result, origSQL);

sc.getSession2().execute(executeRrs, ServerParse.INSERT);

}

}

@Override

public void onFailure(Throwable t) {

StringBuilder s = new StringBuilder();

LOGGER.warn(s.append(sc.getSession2()).append(origSQL).toString() +

" err:" + t.getMessage());

sc.writeErrMessage(ErrorCode.ER_PARSE_ERROR, t.getMessage() + " " + s.toString());

}

}, MycatServer.getInstance().

getListeningExecutorService());

} else if(erFlag) {

throw new SQLNonTransientException(String.format(“%s包含不是ER分片的表”, origSQL));

}

}

return erFlag;

}

代码@1，利用druid引擎解析SQL,支持多multi执行。这里是解决该问题的关键。

代码@2，一条语句一条语句的执行。

代码@3，能进入到这个方法，说明肯定是insert语句。

代码@4，判断是否是ER字表。

代码@5，主要利用joinKey进行路由计算。

代码@6，直接在分片上依次执行该insert语句。

修复好之后，怎么验证是正确的，先理论，然后再测试。

整个语句的执行流程如下：（参考博文：http://blog.csdn.net/prestigeding/article/details/71247101）

set autocommit=0;

insert into ;insert into 语句

commit;语句

这里中间步骤的 inisert into 语句是一个一个执行的，分发到的节点，commit语句会同样下发到相同的节点去执行吗？这里是问题的关键。mycat是这样处理这个问题的，每一个前端连接(ServerConnection)会有持有一个查询Hander(QueryHandler),每一个QueryHanlder里面会持有一个NonBlockingSession,在一次完整的命令处理过程中，NonBlockingSession会保存每个路由节点（执行过的分片节点）与后端连接的BackConnection的对应关系（ConcurrentHashMap<RouteResultsetNode,BackendCone

ction> target）。

/**

* @return previous bound connection

*/

2401_85111736
关注
  • 16
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mycat 取模分片，ER分片
convict_EVA的专栏
07-25 2509
1、业务场景：用户购物下单。 要求：把订单分片，商家要查询购买在订单，用户要查询自己的订单。 表设计：用户，商家订单，订单明细，买方订单 分片规则： “用户表”---user_id 取模，“商家订单”----seller_user_id 取模 “订单明细”----“商家订单”ER 分片，“买家订单”----buyer_user_id 取模 2、表
自身系统结合mycat，根据多字段进行分片插入的调整思路
LeoChen_的专栏
05-14 2244
前言 ：     因为新增需求，需要增加分库插入数据的功能。由于原先使用了mycat进行分库查询，所以优先考虑使用mycat进行相应的改造。同时，该文档仅在个人系统架构前提下进行的分析考虑，因此对于不同架构或情况的小伙伴来说仅供参考。欢迎一起探讨更多方案。MYCAT分片规则配置说明：    在查看mycat分片（数据片，独立的物理数据库节点）规则时，发现只需要改动少数配置就能支持通过mycat进行...
MyCAT ER分片的验证
weixin_33850015的博客
02-23 102
在这里，构造了两张表，熟悉Oracle的童鞋都知道，dept（部门表）和emp（员工表），其中dept中的deptno是emp表中dept_no的外键。 两表的建表语句如下： create table dept(deptno int,dname varchar(10),datanode varchar(10)); create table emp(empno int,dept_no int,...
源码分析MyCat----优化篇之支持ER分片多语句插入(基于1.6)
中间件兴趣圈
05-16 2401
1、ER分片支持多语句插入优化 1.1问题抛出 一个经典的使用场景，订单表(t_order)与订单明细(t_order_item),订单明细表ER分片与订单表。 代码层次一般有如下实现(OrderDao)： voidcreateOrder(Orderorder); voidcreateOrderItem(IntergerorderId,OrderItemitem...
MyCAT ER分片的验证 - iVictor - 博客园
weixin_34354945的博客
03-09 71
MyCAT ER分片的验证 - iVictor - 博客园
mycat ER分片的场景详细分析学习
zhanglei_16的博客
03-02 3413
mycat高可用 ER分片的场景详细分析 1：ER分片关系简介 有一类业务，例如订单（ORDER）跟订单明细表（ORDER_DETAIL）,明细表会依赖二订单，就是该会存在表的主从关系， 这类似业务的切分可以抽象出合适的切分规则，比如根据用户ID切分,其它相关的表都依赖于用户ID，再或者根据订单ID进行切分， 总之部分业务总会可以抽象出父子关系的表。这类表适用于ER分片表，子表的记录与
MyCat批量insert的问题
熊孩子会撒野
03-07 4234
目前在用MyCat做批量插入时，写数据失败，报错信息如下： The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. 批量insert的实现方式： 修改前： insert into t...
multi-statement not allow : /*!mycat:*/ 问题解决
好巧~我看到你了
01-10 201
今天在项目中加入mycat这个东西时，突然报错，搞得老夫头皮发麻，故写下博客记录一下这个问题解决方法。如果老鸟发现博客有问题，欢迎各位指点12。
ERROR 1064 (HY000): ChildTable multi insert not provided
lwei_998的专栏
08-18 3848
mysql>  insert into  user_info(user_id) values(1),(2),(3); ERROR 1064 (HY000): ChildTable multi insert not provided 产生错误的原因是由于mycat中不支持一次对子表插入多条记录。 拆成两条SQL语句插入即可。 mysql> insert into user_i
数据库路由中间件MyCat - 源代码篇（17）
weixin_34281537的博客
11-02 95
此文已由作者张镐薪授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。调用processInsert(sc,schema,sqlType,origSQL,tableName,primaryKey)：public static boolean processInsert(ServerConnection sc,SchemaConfig schema, int ...
mycat安装及分片初体验
热门推荐
雅冰石的专栏
08-25 1万+
一：jdk安装 mycat是用Java开发，需要有JAVA运行环境，mycat依赖jdk1.7的环境，若本机没有，则需要先下载安装。 安装jdk，请参考：http://blog.csdn.net/yabingshi_tech/article/details/51498017 二：mycat安装 mycat下载地址： http://code.taobao.org/svn/opencloud
Mycat ERROR 1064 (HY000): bad insert sql
lwei_998的专栏
07-29 9246
CREATE TABLE `t` (   `tid` int(10) NOT NULL AUTO_INCREMENT,   `name` varchar(10) DEFAULT NULL,   `sdate` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,   PRIMARY KEY (`tid`) ) ENGINE=In
如何用mybatis快速插入大量数据？
dengfengan的博客
10-17 7015
mybatis快速批量插入大数据量
MyBatis原生批量插入的坑与解决方案！
程序员小明1024
12-20 752
.markdown-body { line-height: 1.75; font-weight: 400; font-size: 16px; overflow-x: hidden; color: rgba(37, 41, 51, 1) } .markdown-body h1, .markdown-body h2, .markdown-body h3, .markdown-body h4, .ma...
mycat分片JOIN，分片规则
convict_EVA的专栏
07-22 1万+
mycat 支持跨分片join，主要有四种方法： 1、全局表 字典表（变动不频繁，数据量总体变化不大，数据规模不大很少超过10W条记录）可以做为全局表 特性： 1）全局表的插入，更新操作会实时在所有节点上执行，保持各个分片的数据一致性 2）全局表查询只从一个节点获取 3）全局表可以和任何一个表进行JOIN操作 配置： 不用写rule规则，要在所有节点为执行DDL语句 2、ER
MyCat 单库分表，不能使用 join 操作
忧郁的香菇
08-14 3016
目录 零：MyCat单库分表，事实证明是个坑，不能 join不知道能用来干嘛。 ー：下载 二：修改 server.xml MyCat 服务级别的配置 三：修改 schema.xml逻辑库的配置主要配置的是逻辑库，逻辑表，数据节点，和实际数据源之间的关系 四：修改 rule.xml 五：修改 MySQL 数据库 六：启动 MyCat 七：测试 零：MyCat单...
005MYCAT的分片join
Idonng的专栏
07-13 525
Mycat目前版本支持跨分片的join,主要实现方式有四种。 全局表，ER分片，catletT(人工智能)和ShareJoin，ShareJoin在开发版中支持，前面三种斱方式1.3.0.1支持。8.1 全局表一个真实的业务系统中，往往存在多量的类似字典表的表格，这些表基本上很少变动，如图：配置：全局表配置比较简单，不用写Rule规则，如下配置即可： 在TESTDB下配置一个全局表province...
【SQL】 Multi table insert 多表插入操作
citiao3931的博客
06-03 838
multi table insert 多表插入操作 本文连接http://blog.itpub.net/29475508/viewspace-1684315/ 普通的insert 操作，通常只能...
mycat-server-1.6-relesase下载
最新发布
11-26
mycat-server-1.6-release是一个开源的、基于MySQL的分布式数据库系统，主要用于处理大规模数据的存储和查询。要下载mycat-server-1.6-release，首先需要打开官方网站或者github等开源软件托管网站。在网站主页或者项目页面中，可以找到mycat-server-1.6-release的下载链接。点击链接进入下载页面，可以找到不同版本和不同系统平台的下载选项。根据自己的需求选择合适的版本和平台，一般会有zip压缩包或者tar.gz压缩包等格式。 点击下载按钮后，会开始下载mycat-server-1.6-release的安装包。下载完成后，解压安装包到本地目录，然后按照官方提供的安装指南进行安装和配置。安装完成后，就可以开始使用mycat-server-1.6-release来处理分布式数据库的操作了。 需要注意的是，下载和使用mycat-server-1.6-release需要遵守相关的开源协议和使用条款，尊重作者的知识产权和劳动成果。此外，在使用过程中如果遇到问题，可以参考官方文档或者在开源社区中寻求帮助。希望这篇回答能够对你有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值