【Mycat】分片规则详解

最新推荐文章于 2024-04-30 04:15:29 发布

ColdFireMan

最新推荐文章于 2024-04-30 04:15:29 发布

阅读量856

点赞数 1

分类专栏：数据库文章标签： Mycat

本文链接：https://blog.csdn.net/coldfireman/article/details/99308497

版权

数据库专栏收录该内容

18 篇文章 0 订阅

订阅专栏

分片表和非分片表

Mycat位于应用和数据库的中间层，可以理解为数据库的代理。
不是所有的表都需要分片，数据量小并且不需要做水平切分的表称之为非分片表；数据量大到单库性能、容量不足以支撑，数据需要通过水平切分到不同数据库中的表称之为分片表。

ER关系分片表

ER模型是实体关系模型，广泛采用概念模型设计方法，基本元素是实体、关系和属性。Mycat创新性地将它引入数据切分规则中，使得有互相依赖的表能够按照某一规则切分到相同的节点上，避免跨库Join关联查询。
以订单（order）和订单明细（order_detail）举例，订单明细依赖订单表，存在主从关系。这类表适用于ER分片表，子表的记录与所关联的父表记录存放在同一个数据分片上，避免跨库Josin操作，分片规则可以按照用户ID或者订单ID切分，这个看具体的业务需要。
以order与order_detail为例，在schema.xml中定义如下分片配置：order、order_detail根据order_id进行数据切分，保证相同order_id的数据分到同一个分片上，在进行数据插入操作时，Mycat会获取order所在的分片，然后将order_detail也插入到order所在的分片。

<table name="order" dataNode="dn$1-32" rule="mod-long">
    <childTable name="order_detail" primaryKey="id" joinKey="order_id" />
</table>

分片规则rule.xml文件详解

rule.xml位于$MYCAT_HOME/conf目录，它定义了所有拆分表的规则。在使用的时候可以灵活指定需要使用的分片算法，或者对同一个分片算法使用不同的参数。可以理解为是分片算法的定义文件，这个算法可以用不同的参数重载，在schema.xml中表的rule属性可以定义所使用的具体算法name。

Function标签

<function name="rang-mod" class="org.opencloudb.route.function.PartitionByRangeMod">
    <property name="mapFile">partition-range-mod.txt</property>
</function>

name属性指定算法的名称，在该文件中唯一。
class属性对应具体的分片算法，需要指定算法的具体类。
property属性根据算法的要求指定，后面详细说明。

tableRule标签

<tableRule name="auto-sharding-rang-mod">
    <rule>
        <columns>id</coluns>
        <algorithm>rang-mod</algorithm>
    </rule>
</tableRule>

name属性指定分片唯一算法的名称。
rule属性指定分片算法的具体内容，包括columns和algorithm两个属性。
columns属性指定对应的表中用于分片的列名。
algorithm属性对应function中指定的算法名称。

分片算法详解

取模分片

<tableRule name="mod-long">
    <rule>
        <columns>id</coluns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>
<function name="mod-long" class="org.opencloudb.route.function.PartitionByMod">
    <!-- how many data nodes -->
    <property name="count">3</property>
</function>

columns用来标识将要分片的表字段。
algorithm指定分片函数与function对应。
此分片算法根据id进行十进制求模计算，相比固定的分片hash，这种分片算法在批量插入时会增加事务一致性的难度。

枚举分片

通过在配置文件中配置可能的枚举id，指定数据分布到不同物理节点上，本规则适用于按照省份或区县来拆分数据类业务。

<tableRule name="sharding-by-intfile">
    <rule>
        <columns>sharding_id</coluns>
        <algorithm>hash-int</algorithm>
    </rule>
</tableRule>
<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap">
    <property name="mapFile">partition-hash-int.txt</property>
    <property name="type">0</property>
    <property name="defaultNode">0</property>
</function>

其中的partition-hash-int.txt内容如下：

10000=0
10010=1
DEFAULT_NODE=1

columns指定分片的表列名。
algorithm指定分片函数的名称，与function中mapFile配置文件标识的名称一致。
type的默认值为0，0表示Integer，非零表示String。

注意：

所有的节点配置都是从0开始的，0代表节点1
defaultNode默认节点：小于0表示不设置默认节点，大于等于0表示设置默认节点
默认节点的作用：枚举分片时，如果碰到不识别的枚举值，就让它路由到默认节点
如果不设置默认节点，则碰到识别不了的枚举值就会报错，如：

like this: can`t find datanode for sharding column:column_name val:ffffffff

范围分片

<tableRule name="auto-sharding-long">
    <rule>
        <columns>id</coluns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>
<function name="rang-long" class="org.opencloudb.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
    <property name="defaultNode">0</property>
</function>

autopartition-long.txt的配置如下：

# range start-end, data node index
# K=100,M=10000
0-3000000=0
3000001-4000000=1
4000001-6000000=2

columns指定分片的表列名。
algorithm指定分片函数和function对应。
rang-long函数中的mapFile代表配置文件的路径。
defaultNode为超出范围后的默认节点。

所有的节点配置都是从0开始的，0代表节点1，此配置非常简单，即预先设计好某个分片的id范围。

范围求模算法

该算法为先进行范围分片，计算出分片组，组内再求模，综合了范围分片和求模分片的优点。分片组内使用求模可以保证组内的数据分布比较均匀，分片组之间采用范围分片可以兼顾范围分片的特点。事先规定好分片的数量，数据扩容时按照分片组扩容，则原有分片组的数据不需要迁移。由于分片组内的数据分布比较均匀，所以分片组内可以避免热点数据问题。

<tableRule name="auto-sharding-rang-mod">
    <rule>
        <columns>id</coluns>
        <algorithm>rang-mod</algorithm>
    </rule>
</tableRule>
<function name="rang-mod" class="org.opencloudb.route.function.PartitionByRangeMod">
    <property name="mapFile">partition-range-mod.txt</property>
    <property name="defaultNode">21</property>
</function>

partition-range-mod.txt配置如下：

range start-end, data node group size
0-200M=5 //代表有5个分片节点
200M1-400M=1
400M1-600M=4
600M1-800M=4
800M1-1000M=6

columns指定分片的表列名。
algorithm指定分片函数和function对应。
mapFile指定分片的配置文件。
未包含以上规则的数据存储在defaultNode节点中，节点从0开始。

固定分片hash算法

类似于十进制的求模运算，但是为二进制的操作，取id的二进制低十位，即id二进制&1111111111。

此算法的优点在于如果按照十进制取模运算，则在连续插入1_10时，110会被分到1~10个分片中，增大了插入事务的控制难度。而此算法根据二进制则可能会分到连续的分片，降低了插入事务的控制难度。

<tableRule name="rule1">
    <rule>
        <columns>user_id</coluns>
        <algorithm>func1</algorithm>
    </rule>
</tableRule>
<function name="func1" class="org.opencloudb.route.function.PartitionByLong">
    <property name="partitionCount">2,1</property>
    <property name="partitionLength">256,512</property>
</function>

columns标识将要分片的表字段。
algorithm为分片函数。
partitionCount为分片个数列表
partitionLength为分片范围列表，分区长度默认最大为2^n=1024，即最大支持1024个分区。
约束如下：
count、length两个数组的长度必须一致
1024 = sum(count[i]*length[i])，count和length两个向量的点积恒等于1024.

取模范围算法

取模运算与范围约束的结合主要是为后续的数据迁移做准备，即可以自主决定取模后数据的节点分布，配置如下：

<tableRule name="sharding-by-pattern">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-pattern</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-pattern" class="org.opencloudb.route.function.PartitionByPattern">
    <property name="patternValue">256</property>
    <property name="defaultNode">2</property>
    <property name="mapFile">partition-pattern.txt</property>
</function>

partition-pattern.txt配置如下：

# id partition rage start-end, data node index
###### first host configuration
1-32=0
33-64=1
65-96=2
97-128=3
###### second host configuration
129-160=4
161-192=5
193-224=6
225-256=7
0-0=7

columns标识将要分片的表字段。
algorithm为分片函数
patternValue为求模基数。
defaultNode为默认节点，如果采用默认配置，则不会进行求模运算。

在mapFile配置文件中，1_{32即代表id%256后分布的范围。如果在1}32，则在分区1，以此类推，如果id不是数据，则会分配在defaultNode上。

字符串hash求模范围运算

与取模范围运算类似，该算法支持数值、符号、字母取模，配置如下：

<tableRule name="sharding-by-prefixpattern">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-prefixpattern</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-prefixpattern" class="org.opencloudb.route.function.PartitionByPrefixPattern">
    <property name="patternValue">256</property>
    <property name="prefixLength">5</property>
    <property name="mapFile">partition-pattern.txt</property>
</function>

partition-pattern.txt配置如下：

# rage start-end, data node index
# ASCII
8-57=0-9阿拉伯数字
# 64、65-90=@、A-Z
# 97-122=a-z
###### first host configuration
1-4=0
5-8=1
9-12=2
13-16=3
###### second host configuration
17-20=4
21-24=5
25-28=6
29-32=7
0-0=7

columns标识将要分片的表字段。
algorithm为分片函数
patternValue为求模基数。
prefixLength为截取的位数。
mapFile为配置文件。
1_{32代表id%256后分布的范围，如果在1}32，则在分区1，其他类推。

该算法与取模范围算法类似，截取长度为prefixLength的子串，再对子串中每个字符的ASCII码进行求和得出sum，然后对sum进行求模运算（sum%patternValue），可以计算出prefixLength长度的子串分片数。

应用指定的算法

在运行阶段由应用自主决定路由到哪个分片，配置如下：

<tableRule name="sharding-by-substring">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-substring</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-substring" class="org.opencloudb.route.function.PartitionBySubString">
    <property name="startIndex">0</property>
    <property name="size">2</property>
    <property name="partitionCount">8</property>
    <property name="defaultPartition">0</property>
</function>

columns标识将要分片的表字段。
algorithm为分片函数

直接根据字符子串（必须是数字）计算分区号（由应用传递参数，显式指定分区号）。例如user_id=05-100000002，其中user_id是从startIndex=0开始的，截取长度为两位数字，即05，05就是获取的分区，默认分配到defaultPartition。

字符串hash解析算法

截取字符串中的int数组hash分片，配置如下：

<tableRule name="sharding-by-stringhash">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-stringhash</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-stringhash" class="org.opencloudb.route.function.PartitionByString">
    <property name="length">512</property>
    <!-- zero base -->
    <property name="count">2</property>
    <property name="hashSlice">0:2</property>
</function>

columns标识将要分片的表字段。
algorithm为分片函数
length为字符串hash的求模基数
count为分区数
hashSlice为预算位，即根据子字符串中的int值进行hash运算。

规则如下：

"2" -> (0,2)
"1:2" -> (1,2)
"1:" -> (1,0)
"-1:" -> (-1,0)
":-1" -> (0,-1)
":" -> (0,0)

一致性hash算法

一致性hash算法有效解决了分布式数据的扩容问题，配置如下：

<tableRule name="sharding-by-murmur">
    <rule>
        <columns>user_id</coluns>
        <algorithm>murmur</algorithm>
    </rule>
</tableRule>
<function name="murmur" class="org.opencloudb.route.function.PartitionByMurmurHash">
    <property name="seed">0</property><!-- 默认是0 -->
    <property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
    <property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认为160倍，也就是虚拟节点是物理节点的160倍 -->
    <property name="weightMapFile">weightMapFile</property><!-- 节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 -->
    <property name="bucketMapPath">/etc/mycat/bucketMapPath</property><!-- 用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，则会把这个虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何内容 -->
</function>

按日期（天）分片算法

<tableRule name="sharding-by-date">
    <rule>
        <columns>create_time</coluns>
        <algorithm>sharding-by-date</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-date" class="org.opencloudb.route.function.PartitionByDate">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2014-01-01</property>
    <property name="sEndDate">2014-01-02</property>
    <property name="sPartionDay">10</property>
</function>

columns标识将要分片的表字段。
algorithm为分片函数
dateFormat为日期格式
sBeginDate为开始日期
sEndDate为结束日志
sPartionDay为分区天数，默认从开始日期算起，每个10天一个分区
如果配置了sEndDate，则代表数据达到了这个日期的分片后会重复从开始分片插入。

按单月小时算法

单月内按照小时拆分，最小粒度为小时，一天最火可以有24个分片，最少1个分片，下个月从头开始循环，每个月末需要手动清理数据。

<tableRule name="sharding-by-hour">
    <rule>
        <columns>create_time</coluns>
        <algorithm>sharding-by-hour</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-hour" class="org.opencloudb.route.function.LatestMonthPartion">
    <property name="splitOneDay">24</property>
</function>

columns标识将要分片的表字段。
algorithm为分片函数
splitOneDay为一天切分的分片数

自然月分片算法

使用场景为按月份分区，每一个自然月一个分区，查询条例时使用between and，配置如下：

<tableRule name="sharding-by-month">
    <rule>
        <columns>create_time</coluns>
        <algorithm>sharding-by-month</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-month" class="org.opencloudb.route.function.PartitionByMonth">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2014-01-01</property>
</function>

columns标识将要分片的表字段。
algorithm为分片函数
dateFormat为日期格式
sBeginDate为开始日期

日期范围hash算法

其思想与范围求模一致，由于日期取模方法会出现数据热点问题，所以先根据日期分组，再根据时间hash使得短期内数据分布得更均匀。其优点是可以避免扩容时的数据迁移，又可以在一定程度上避免范围分片的热点问题，要求日期格式尽量精确，不然达不到局部均匀的目的。

<tableRule name="rangeDateHash">
    <rule>
        <columns>create_time</coluns>
        <algorithm>range-date-hash</algorithm>
    </rule>
</tableRule>
<function name="range-date-hash" class="org.opencloudb.route.function.PartitionByRangeDateHash">
    <property name="sBeginDate">2014-01-01 00:00:00</property>
    <property name="sPartionDay">3</property>
    <property name="dateFormat">yyyy-MM-dd HH:mm:ss</property>
    <property name="groupPartionSize">6</property>
</function>