【Mycat】分片规则详解

分片表和非分片表

  1. Mycat位于应用和数据库的中间层,可以理解为数据库的代理。
  2. 不是所有的表都需要分片,数据量小并且不需要做水平切分的表称之为非分片表;数据量大到单库性能、容量不足以支撑,数据需要通过水平切分到不同数据库中的表称之为分片表。

ER关系分片表

  1. ER模型是实体关系模型,广泛采用概念模型设计方法,基本元素是实体、关系和属性。Mycat创新性地将它引入数据切分规则中,使得有互相依赖的表能够按照某一规则切分到相同的节点上,避免跨库Join关联查询。
  2. 以订单(order)和订单明细(order_detail)举例,订单明细依赖订单表,存在主从关系。这类表适用于ER分片表,子表的记录与所关联的父表记录存放在同一个数据分片上,避免跨库Josin操作,分片规则可以按照用户ID或者订单ID切分,这个看具体的业务需要。
  3. 以order与order_detail为例,在schema.xml中定义如下分片配置:order、order_detail根据order_id进行数据切分,保证相同order_id的数据分到同一个分片上,在进行数据插入操作时,Mycat会获取order所在的分片,然后将order_detail也插入到order所在的分片。
<table name="order" dataNode="dn$1-32" rule="mod-long">
    <childTable name="order_detail" primaryKey="id" joinKey="order_id" />
</table>

分片规则rule.xml文件详解

rule.xml位于$MYCAT_HOME/conf目录,它定义了所有拆分表的规则。在使用的时候可以灵活指定需要使用的分片算法,或者对同一个分片算法使用不同的参数。可以理解为是分片算法的定义文件,这个算法可以用不同的参数重载,在schema.xml中表的rule属性可以定义所使用的具体算法name。

Function标签

<function name="rang-mod" class="org.opencloudb.route.function.PartitionByRangeMod">
    <property name="mapFile">partition-range-mod.txt</property>
</function>
  • name属性指定算法的名称,在该文件中唯一。
  • class属性对应具体的分片算法,需要指定算法的具体类。
  • property属性根据算法的要求指定,后面详细说明。

tableRule标签

<tableRule name="auto-sharding-rang-mod">
    <rule>
        <columns>id</coluns>
        <algorithm>rang-mod</algorithm>
    </rule>
</tableRule>
  • name属性指定分片唯一算法的名称。
  • rule属性指定分片算法的具体内容,包括columns和algorithm两个属性。
  • columns属性指定对应的表中用于分片的列名。
  • algorithm属性对应function中指定的算法名称。

分片算法详解

取模分片

<tableRule name="mod-long">
    <rule>
        <columns>id</coluns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>
<function name="mod-long" class="org.opencloudb.route.function.PartitionByMod">
    <!-- how many data nodes -->
    <property name="count">3</property>
</function>
  • columns用来标识将要分片的表字段。
  • algorithm指定分片函数与function对应。
    此分片算法根据id进行十进制求模计算,相比固定的分片hash,这种分片算法在批量插入时会增加事务一致性的难度。

枚举分片

通过在配置文件中配置可能的枚举id,指定数据分布到不同物理节点上,本规则适用于按照省份或区县来拆分数据类业务。

<tableRule name="sharding-by-intfile">
    <rule>
        <columns>sharding_id</coluns>
        <algorithm>hash-int</algorithm>
    </rule>
</tableRule>
<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap">
    <property name="mapFile">partition-hash-int.txt</property>
    <property name="type">0</property>
    <property name="defaultNode">0</property>
</function>

其中的partition-hash-int.txt内容如下:

10000=0
10010=1
DEFAULT_NODE=1
  • columns指定分片的表列名。
  • algorithm指定分片函数的名称,与function中mapFile配置文件标识的名称一致。
  • type的默认值为0,0表示Integer,非零表示String。

注意:

  • 所有的节点配置都是从0开始的,0代表节点1
  • defaultNode默认节点:小于0表示不设置默认节点,大于等于0表示设置默认节点
  • 默认节点的作用:枚举分片时,如果碰到不识别的枚举值,就让它路由到默认节点
  • 如果不设置默认节点,则碰到识别不了的枚举值就会报错,如:
like this: can`t find datanode for sharding column:column_name val:ffffffff

范围分片

<tableRule name="auto-sharding-long">
    <rule>
        <columns>id</coluns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>
<function name="rang-long" class="org.opencloudb.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
    <property name="defaultNode">0</property>
</function>

autopartition-long.txt的配置如下:

# range start-end, data node index
# K=100,M=10000
0-3000000=0
3000001-4000000=1
4000001-6000000=2
  • columns指定分片的表列名。
  • algorithm指定分片函数和function对应。
  • rang-long函数中的mapFile代表配置文件的路径。
  • defaultNode为超出范围后的默认节点。

所有的节点配置都是从0开始的,0代表节点1,此配置非常简单,即预先设计好某个分片的id范围。

范围求模算法

该算法为先进行范围分片,计算出分片组,组内再求模,综合了范围分片和求模分片的优点。分片组内使用求模可以保证组内的数据分布比较均匀,分片组之间采用范围分片可以兼顾范围分片的特点。事先规定好分片的数量,数据扩容时按照分片组扩容,则原有分片组的数据不需要迁移。由于分片组内的数据分布比较均匀,所以分片组内可以避免热点数据问题。

<tableRule name="auto-sharding-rang-mod">
    <rule>
        <columns>id</coluns>
        <algorithm>rang-mod</algorithm>
    </rule>
</tableRule>
<function name="rang-mod" class="org.opencloudb.route.function.PartitionByRangeMod">
    <property name="mapFile">partition-range-mod.txt</property>
    <property name="defaultNode">21</property>
</function>

partition-range-mod.txt配置如下:

range start-end, data node group size
0-200M=5 //代表有5个分片节点
200M1-400M=1
400M1-600M=4
600M1-800M=4
800M1-1000M=6
  • columns指定分片的表列名。
  • algorithm指定分片函数和function对应。
  • mapFile指定分片的配置文件。
  • 未包含以上规则的数据存储在defaultNode节点中,节点从0开始。

固定分片hash算法

类似于十进制的求模运算,但是为二进制的操作,取id的二进制低十位,即id二进制&1111111111。

此算法的优点在于如果按照十进制取模运算,则在连续插入110时,110会被分到1~10个分片中,增大了插入事务的控制难度。而此算法根据二进制则可能会分到连续的分片,降低了插入事务的控制难度。

<tableRule name="rule1">
    <rule>
        <columns>user_id</coluns>
        <algorithm>func1</algorithm>
    </rule>
</tableRule>
<function name="func1" class="org.opencloudb.route.function.PartitionByLong">
    <property name="partitionCount">2,1</property>
    <property name="partitionLength">256,512</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数。
  • partitionCount为分片个数列表
  • partitionLength为分片范围列表,分区长度默认最大为2^n=1024,即最大支持1024个分区。
    约束如下:
  • count、length两个数组的长度必须一致
  • 1024 = sum(count[i]*length[i]),count和length两个向量的点积恒等于1024.

取模范围算法

取模运算与范围约束的结合主要是为后续的数据迁移做准备,即可以自主决定取模后数据的节点分布,配置如下:

<tableRule name="sharding-by-pattern">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-pattern</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-pattern" class="org.opencloudb.route.function.PartitionByPattern">
    <property name="patternValue">256</property>
    <property name="defaultNode">2</property>
    <property name="mapFile">partition-pattern.txt</property>
</function>

partition-pattern.txt配置如下:

# id partition rage start-end, data node index
###### first host configuration
1-32=0
33-64=1
65-96=2
97-128=3
###### second host configuration
129-160=4
161-192=5
193-224=6
225-256=7
0-0=7
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • patternValue为求模基数。
  • defaultNode为默认节点,如果采用默认配置,则不会进行求模运算。

在mapFile配置文件中,132即代表id%256后分布的范围。如果在132,则在分区1,以此类推,如果id不是数据,则会分配在defaultNode上。

字符串hash求模范围运算

与取模范围运算类似,该算法支持数值、符号、字母取模,配置如下:

<tableRule name="sharding-by-prefixpattern">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-prefixpattern</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-prefixpattern" class="org.opencloudb.route.function.PartitionByPrefixPattern">
    <property name="patternValue">256</property>
    <property name="prefixLength">5</property>
    <property name="mapFile">partition-pattern.txt</property>
</function>

partition-pattern.txt配置如下:

# rage start-end, data node index
# ASCII
8-57=0-9阿拉伯数字
# 64、65-90=@、A-Z
# 97-122=a-z
###### first host configuration
1-4=0
5-8=1
9-12=2
13-16=3
###### second host configuration
17-20=4
21-24=5
25-28=6
29-32=7
0-0=7
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • patternValue为求模基数。
  • prefixLength为截取的位数。
  • mapFile为配置文件。
  • 132代表id%256后分布的范围,如果在132,则在分区1,其他类推。

该算法与取模范围算法类似,截取长度为prefixLength的子串,再对子串中每个字符的ASCII码进行求和得出sum,然后对sum进行求模运算(sum%patternValue),可以计算出prefixLength长度的子串分片数。

应用指定的算法

在运行阶段由应用自主决定路由到哪个分片,配置如下:

<tableRule name="sharding-by-substring">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-substring</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-substring" class="org.opencloudb.route.function.PartitionBySubString">
    <property name="startIndex">0</property>
    <property name="size">2</property>
    <property name="partitionCount">8</property>
    <property name="defaultPartition">0</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数

直接根据字符子串(必须是数字)计算分区号(由应用传递参数,显式指定分区号)。例如user_id=05-100000002,其中user_id是从startIndex=0开始的,截取长度为两位数字,即05,05就是获取的分区,默认分配到defaultPartition。

字符串hash解析算法

截取字符串中的int数组hash分片,配置如下:

<tableRule name="sharding-by-stringhash">
    <rule>
        <columns>user_id</coluns>
        <algorithm>sharding-by-stringhash</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-stringhash" class="org.opencloudb.route.function.PartitionByString">
    <property name="length">512</property>
    <!-- zero base -->
    <property name="count">2</property>
    <property name="hashSlice">0:2</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • length为字符串hash的求模基数
  • count为分区数
  • hashSlice为预算位,即根据子字符串中的int值进行hash运算。

规则如下:

"2" -> (0,2)
"1:2" -> (1,2)
"1:" -> (1,0)
"-1:" -> (-1,0)
":-1" -> (0,-1)
":" -> (0,0)

一致性hash算法

一致性hash算法有效解决了分布式数据的扩容问题,配置如下:

<tableRule name="sharding-by-murmur">
    <rule>
        <columns>user_id</coluns>
        <algorithm>murmur</algorithm>
    </rule>
</tableRule>
<function name="murmur" class="org.opencloudb.route.function.PartitionByMurmurHash">
    <property name="seed">0</property><!-- 默认是0 -->
    <property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
    <property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认为160倍,也就是虚拟节点是物理节点的160倍 -->
    <property name="weightMapFile">weightMapFile</property><!-- 节点的权重,没有指定权重的节点默认是1。以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key,以节点权重值为值。所有权重值必须是正整数,否则以1代替 -->
    <property name="bucketMapPath">/etc/mycat/bucketMapPath</property><!-- 用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,则会把这个虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何内容 -->
</function>

按日期(天)分片算法

<tableRule name="sharding-by-date">
    <rule>
        <columns>create_time</coluns>
        <algorithm>sharding-by-date</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-date" class="org.opencloudb.route.function.PartitionByDate">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2014-01-01</property>
    <property name="sEndDate">2014-01-02</property>
    <property name="sPartionDay">10</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • dateFormat为日期格式
  • sBeginDate为开始日期
  • sEndDate为结束日志
  • sPartionDay为分区天数,默认从开始日期算起,每个10天一个分区
    如果配置了sEndDate,则代表数据达到了这个日期的分片后会重复从开始分片插入。

按单月小时算法

单月内按照小时拆分,最小粒度为小时,一天最火可以有24个分片,最少1个分片,下个月从头开始循环,每个月末需要手动清理数据。

<tableRule name="sharding-by-hour">
    <rule>
        <columns>create_time</coluns>
        <algorithm>sharding-by-hour</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-hour" class="org.opencloudb.route.function.LatestMonthPartion">
    <property name="splitOneDay">24</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • splitOneDay为一天切分的分片数

自然月分片算法

使用场景为按月份分区,每一个自然月一个分区,查询条例时使用between and,配置如下:

<tableRule name="sharding-by-month">
    <rule>
        <columns>create_time</coluns>
        <algorithm>sharding-by-month</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-month" class="org.opencloudb.route.function.PartitionByMonth">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2014-01-01</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • dateFormat为日期格式
  • sBeginDate为开始日期

日期范围hash算法

其思想与范围求模一致,由于日期取模方法会出现数据热点问题,所以先根据日期分组,再根据时间hash使得短期内数据分布得更均匀。其优点是可以避免扩容时的数据迁移,又可以在一定程度上避免范围分片的热点问题,要求日期格式尽量精确,不然达不到局部均匀的目的。

<tableRule name="rangeDateHash">
    <rule>
        <columns>create_time</coluns>
        <algorithm>range-date-hash</algorithm>
    </rule>
</tableRule>
<function name="range-date-hash" class="org.opencloudb.route.function.PartitionByRangeDateHash">
    <property name="sBeginDate">2014-01-01 00:00:00</property>
    <property name="sPartionDay">3</property>
    <property name="dateFormat">yyyy-MM-dd HH:mm:ss</property>
    <property name="groupPartionSize">6</property>
</function>
  • columns标识将要分片的表字段。
  • algorithm为分片函数
  • sBeginDate为开始日期,和dateFormat格式一致
  • sPartionDay代表多少天一组
  • dateFormat为指定的日期格式,符合Java标准
  • groupPartionSize为每组的分片数量
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值