概述
Mycat目前版本支持跨分片的join,主要实现的方式有四种。
- 全局表
- ER分片
- HBT
- ShareJoin
ShareJoin
1、概念
ShareJoin是一个简单的跨分片Join,基于HBT的方式实现。
目前支持2个表的join,原理就是解析SQL语句,拆分成单表的SQL语句执行,然后把各个节点的数据汇集。支持任意配置的A,B表
如:A,B的dataNode相同
A,B的dataNode不同
或
2、相关类图
![c5a01fe5327b0c11f5d02f196ac63f92.png](https://i-blog.csdnimg.cn/blog_migrate/ce47b1ecf6e5e941907e1e428744995c.jpeg)
- JoinParser: SQL语句的解析
- TableFilter:存解析后的各个子表
- ShareJoin:执行拆分的语句管理控制,和字段,记录的管理
- ShareDBJoinHandler:第一个表执行后获取数据的handler
- ShareRowOutPutDataHandler:最后一个表执行后获取数据的handler
- EnginerCtx:执行引擎
- SQLJob:SQL语句执行任务
- SQLJobHandler:SQL语句执行后获取数据的handler
- BatchSQLJob:批量执行任务控制
- AllJobFinishedListener:所有任务完成侦听器
3、测试
默认mycat的环境测试:
/*!mycat:catlet=demo.catlets.ShareJoin */ select a.*,b.id, b.name as tit from customer a,company b on a.company_id=b.id;
![8fd1f19a47c374ac5034f41a458c4239.png](https://i-blog.csdnimg.cn/blog_migrate/30372ec5c46f9ed7c5aa64e4dbbdd046.jpeg)
/*!mycat:catlet=demo.catlets.ShareJoin */ select a.*,b.id, b.name as name from orders a join customer b where a.customer_id=b.id;
![d97155301ad3742948642bd1721bf8c9.png](https://i-blog.csdnimg.cn/blog_migrate/19724069e6df24789738cf862ede33c2.jpeg)
/*!mycat:catlet=demo.catlets.ShareJoin */ select a.*,b.* from orders a join customer b where a.customer_id=b.id;
![c649fa99eeea38ac7d3b93d9bcd1bebb.png](https://i-blog.csdnimg.cn/blog_migrate/2536670382cdb1f6252a5a31a8594ebf.jpeg)
/*!mycat:catlet=demo.catlets.ShareJoin */ select a.id,a.user_id,a.traveldate,a.fee,a.days,b.id as nnid, b.title as tit from travelrecord a join hotnews b on b.id=a.days order by a.id ;
![c6b6838b2b103a884f223ce484279b2e.png](https://i-blog.csdnimg.cn/blog_migrate/6c63eff33a3a4cb2549b542dfd994037.jpeg)
全局表
1、概念
一个真实的业务系统中,往往存在大量的类似字典表的表格,它们与业务表之间可能有关系,这种关系,可以理解为“标签”,而不应理解为通常的“主从关系”,这些表基本上很少变动,可以根据主键ID进行缓存,下面这张图说明了一个典型的“标签关系”图:
![f050dc0caa31f14fd19f7bcea21f2ce6.png](https://i-blog.csdnimg.cn/blog_migrate/0ffe5ab80b5b097c94924a755139ab41.jpeg)
在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较棘手的问题,考虑到字典表具有以下几个特性:
- 变动不频繁
- 数据量总体变化不大
- 数据规模不大,很少有超过数十万条记录。
鉴于此,MyCAT定义了一种特殊的表,称之为“全局表”,全局表具有以下特性:
- 全局表的插入、更新操作会实时在所有节点上执行,保持各个分片的数据一致性
- 全局表的查询操作,只从一个节点获取
- 全局表可以跟任何一个表进行JOIN操作
将字典表或者符合字典表特性的一些表定义为全局表,则从另外一个方面,很好的解决了数据JOIN的难题。通过全局表+基于E-R关系的分片策略,MyCAT可以满足80%以上的企业应用开发。
2、配置
全局表配置比较简单,不用写Rule规则,如下配置即可:
需要注意的是,全局表每个分片节点上都要有运行创建表的DDL语句。
ER分片
1、概念
MyCAT借鉴了NewSQL领域的新秀Foundation DB的设计思路,Foundation DB创新性的提出了Table Group的概念,其将子表的存储位置依赖于主表,并且物理上紧邻存放,因此彻底解决了JION的效率和性能问题,根据这一思路,提出了基于E-R关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分片上。
customer采用sharding-by-intfile这个分片策略,分片在dn1,dn2上,orders依赖父表进行分片,两个表的关联关系为orders.customer_id=customer.id。于是数据分片和存储的示意图如下:
![52f8f819c38a37d45dd969b7e91eac2a.png](https://i-blog.csdnimg.cn/blog_migrate/e06812661d8e3c6732d1405fe0f1bb36.jpeg)
这样一来,分片Dn1上的的customer与Dn1上的orders就可以进行局部的JOIN联合,Dn2上也如此,再合并两个节点的数据即可完成整体的JOIN,试想一下,每个分片上orders表有100万条,则10个分片就有1个亿,基于E-R映射的数据分片模式,基本上解决了80%以上的企业应用所面临的问题。
2、配置
以上述例子为例,schema.xml中定义如下的分片配置:
HBT分片
HBT是为了解决跨分片的SQL JOIN的问题,远比想象的复杂,而且往往无法实现高效的处理,既然如此,就依靠人工的智力,去编程解决业务系统中特定几个必须跨分片的SQL的JOIN逻辑,MyCAT提供特定的API供程序员调用,这就是MyCAT创新性的思路——人工智能。
觉得有用的朋友多帮忙转发哦!后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注下~
![fe3b407cecb1039a354962a3b7d1884d.gif](https://i-blog.csdnimg.cn/blog_migrate/d62e2ab497ee4a3d70fb78e1cda54fe3.gif)