MyCat Join 专题 ---- ER 分片

ER Join：实体关系（entity relation） join

目录

ー：MyCat 权威指南

二：ER 分片实操

---

 

ー：MyCat 权威指南

---

MyCAT 借鉴了 NewSQL 领域的新秀 Foundation DB 的设计思路，Foundation DB 创新性的提出了 Table Group 的概念，其将子表的存储位置依赖于主表，并且物理上紧邻存放，因此彻底解决了 JION 的效率和性能问 题，根据这一思路，提出了基于 E-R 关系 的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上。 

说白了就是将相关联的数据，需要级联查询的数据放进同一个分片中。

customer 采用 sharding-by-intfile 这个分片策略，或者其他的分片策略，分片在 dn1,dn2 上，orders 依赖父表进行分片，两个 表的关联关系为 orders.customer_id = customer.id。

既字表是按照父表的分片字段进行分片的，这样的话，父表数据和字表数据的相关联的数据都会在同一个数据分片上。跨库分片 join 变得简单，子表可以配置多个。且可以进行嵌套查询。

于是数据分片和存储的示意图如下：

这样一来，分片 Dn1 上的的 customer 与 Dn1 上的 orders 就可以进行局部的 JOIN 联合，Dn2 上也如此，再合 并两个节点的数据即可完成整体的 JOIN，试想一下，每个分片上 orders 表有 100 万条，则 10 个分片就有 1 个亿，基 于 E-R 映射的数据分片模式，基本上解决了 80% 以上的企业应用所面临的问题。 配置 以上述例子为例，schema.xml 中定义如下的分片配置

<table name="customer" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile">
    <childTable name="orders" primaryKey="ID" joinKey="customer_id" parentKey="id">
        <childTable name="order_items" joinKey="order_id" parentKey="id" />
    </childTable>
    <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id" parentKey="id" />
</table>

 

二：ER 分片实操

---

ER Join：不限制查询的表数，因为设计的原型就是所有相关联的数据都在同一个分页。

查询：按逻辑来说，子表不需要单独查询。或者只是主表的一个数据拓展。

子表单表查询：因为是按照主表的分片键路由的。所以只有主表的分片键查询条件才会路由到正确的位置。没有的话就全库查找数据集，之后合并多个数据集。

主表 + 子表 join 查询：有分片键的查询就路由到对应库。查询对应的 join 信息，没有的话就所有的库进行数据的 join ，之后合并。

限制：经过测试，没有表数的限制。既一个 table 标签中的所有表都可以进行 join 操作。此外还可以再与多个 global 全局表进行 join。

 

本地测试：

<schema name="mydb" checkSQLschema="true" sqlMaxLimit="100">
    <table name="lsqtable" primaryKey="id" autoIncrement="true" dataNode="dn$1-2" rule="mod-long" >
        <childTable name="lsqtable_supplement" primaryKey="id" joinKey="id" parentKey="id" >
            <childTable name="lsqtable_supplement_items" joinKey="parent_id" parentKey="id" />
        </childTable>
        <childTable name="lsqtable_supplement_other" primaryKey="id" joinKey="id" parentKey="id" />
    </table>
    <table name="jointable" primaryKey="id" type="global" autoIncrement="true" dataNode="dn$1-2" />
    <table name="otherjointable" primaryKey="id" type="global" autoIncrement="true" dataNode="dn$1-2" />
</schema>


<dataNode name="dn1" dataHost="localhost1" database="mydb" />
<dataNode name="dn2" dataHost="localhost2" database="mydb" />

逻辑库：mydb

逻辑表：	主表 lsqtest	子表补充表  lsqtable_supplement	子表补充表明细  lsqtable_supplement_items	主表动静分离子表  lsqtable_supplement_other
所在数据节点：	dn$1-2	dn$1-2	dn$1-2	dn$1-2
分片键：	id	id	parent_id	id

 

 

 

 

 

全局表：	jointable	otherjointable
所在数据节点：	dn$1-2	dn$1-2

 

 

 

所有子表会默认继承所属主表的 分片规则 来保证相关数据都在一个分片区之内。

 

查询语句：

explain select *
FROM lsqtable_supplement s
LEFT JOIN lsqtable l ON l.id = s.id
LEFT JOIN lsqtable_supplement_other o ON l.id = o.id
LEFT JOIN lsqtable_supplement_items i ON l.id = i.parent_id
INNER JOIN jointable j ON l.id = j.id
INNER JOIN otherjointable oj ON l.id = oj.id

会将查询语句路由到其他几个节点，每个节点执行相同语句获取结果集。之后 MyCat 会合并这些结果集。

该方案只适用于 主表A ---> 子表B ---> 字典表 这种情况

而这种 主表A ---> 关系表AB ---> 主表B  这种情况，两种主表属于不同的范畴，所以两主表插入 关系表AB 的值不保证保存在同一分片上。可以考虑冗余关系表的方法来保证所有节点相同。但是又不符合全局表的定义。因为是一种常变的数据。

一般情况下，ER分区 + 全局表 可以满足大部分的需求。