Springboot Shardingsphere-jdbc分库分表

shardingsphere-jdbc分库分表

1.shardingsphere介绍

Apache ShardingSphere 是一款分布式 SQL 事务和查询引擎，可通过数据分片、弹性伸缩、加密等能力对任意数据库进行增强。

Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。

Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。 它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。 它站在数据库的上层视角，关注它们之间的协作多于数据库自身。

具体介绍参见官网。

2.理论知识

2.1.分片策略

分片策略是分片键和分片算法的组合策略，真正用于实现数据分片操作的是分片键与相应的分片算法。在分片策略中，分片键确定了数据的拆分依据，分片算法则决定了如何对分片键值运算，将数据路由到哪个物理分片中。

由于分片算法的独立性，使得分片策略具有更大的灵活性和可扩展性。这意味着可以根据具体需求选择不同的分片算法，或者开发自定义的分片算法，以适应各种不同的分片场景。在分表和分库时使用分片策略和分片算法的方式是一致的。

注意：如果在某种分片策略中使用了不受支持的SQL操作符，比如 MYSQL 某些函数等，那么系统将无视分片策略，进行全库表路由操作。这个在使用时要慎重！

ShardingSphere对外提供了standard、complex、hint、inline、none5种分片策略。不同的分片策略可以搭配使用不同的分片算法，这样可以灵活的应对复杂业务场景。

下面介绍几种常用的分片策略及其配置。

2.1.1.标准分片策略

标准分片策略（standard）适用于具有单一分片键的标准分片场景。该策略支持精确分片，即在SQL中包含=、in操作符，以及范围分片，包括BETWEEN AND、>、<、>=、<=等范围操作符。

该策略下有两个属性，分片字段shardingColumn和分片算法名shardingAlgorithmName。

spring:
  shardingsphere:
    rules:
      sharding:
        tables:
          t_order: # 逻辑表名称
            # 数据节点：数据库.分片表
            actual-data-nodes: db$->{
   
   0..1}.t_order_${
   
   1..10}
            # 分库策略
            databaseStrategy: # 分库策略
              standard: # 用于单分片键的标准分片场景
                shardingColumn: order_id # 分片列名称
                shardingAlgorithmName: # 分片算法名称
           tableStrategy: # 分表策略，同分库策略

2.1.2.行表达式分片策略

行表达式分片策略（inline）适用于具有单一分片键的简单分片场景，支持SQL语句中=和in操作符。

它的配置相当简洁，该分片策略支持在配置属性algorithm-expression中书写Groovy表达式，用来定义对分片健的运算逻辑，无需单独定义分片算法了。

spring:
  shardingsphere:
    rules:
      sharding:
        tables:
          t_order: # 逻辑表名称
            # 数据节点：数据库.分片表
            actual-data-nodes: db$->{
   
   0..1}.t_order_${
   
   1..10}
            # 分库策略
            databaseStrategy: # 分库策略
              inline:   # 行表达式类型分片策略
                algorithm-expression: db$->{
   
   order_id % 2} Groovy表达式
            tableStrategy: # 分表策略，同分库策略

2.1.3.复合分片策略

复合分片策略（complex）适用于多个分片键的复杂分片场景，属性shardingColumns中多个分片健以逗号分隔。支持 SQL 语句中有>、>=、<=、<、=、IN 和 BETWEEN AND 等操作符。

比如：我们希望通过user_id和order_id等多个字段共同运算得出数据路由到具体哪个分片中，就可以应用该策略。

spring:
  shardingsphere:
    rules:
      sharding:
        tables:
          t_order: # 逻辑表名称
            # 数据节点：数据库.分片表
            actual-data-nodes: db$->{
   
   0..1}.t_order_${
   
   1..10}
            # 分库策略
            databaseStrategy: # 分库策略
              complex: # 用于多分片键的复合分片场景
                shardingColumns: order_id，user_id # 分片列名称，多个列以逗号分隔
                shardingAlgorithmName: # 分片算法名称
            tableStrategy: # 分表策略，同分库策略

2.2.分片算法

ShardingSphere 内置了多种分片算法，按照类型可以划分为自动分片算法、标准分片算法、复合分片算法和 Hint 分片算法，能够满足我们绝大多数业务场景的需求。

下面介绍几种常用的分片算法及其配置。

2.2.1.自动分片算法

1.MOD

取模分片算法是内置的一种比较简单的算法，定义算法时类型MOD，表达式大致（分片健/数据库实例） % sharding-count，它只有一个 props 属性sharding-count代表分片表的数量。

这个 sharding-count 数量使用时有点小坑，比如db0和db1都有分片表t_order_1，那么实际上数量只能算一个。YML核心配置如下：

spring:
  shardingsphere:
    rules:
      sharding:
        # 自动分片表规则配置
        auto-tables:
          t_order:
            actual-data-sources: db$->{
   
   0..1}
            sharding-strategy:
              standard:
                sharding-column: order_date
                sharding-algorithm-name: t_order_table_mod
        # 分片算法定义
        sharding-algorithms:
          t_order_table_mod:
            type: MOD # 取模分片算法
            props:
              # 指定分片数量
              sharding-count: 6
        tables:
          t_order: # 逻辑表名称
            actual-data-nodes: db$->{
   
   0..1}.t_order_${
   
   0..2}
            # 分库策略
            database-strategy:
            ....
            # 分表策略
            table-strategy:
              standard:
                sharding-column: order_id
                sharding-algorithm-name: t_order_table_mod

2.HASH_MOD

哈希取模分片算法是内置取模分片算法的一个升级版本，定义算法时类型HASH_MOD，也只有一个props属性sharding-count代表分片的数量。表达式hash（分片健/数据库实例） % sharding-count。

YML核心配置如下：

spring:
  shardingsphere:
    rules:
      sharding:
        # 自动分片表规则配置
        auto-tables:
          t_order:
            actual-data-sources: db$->{
   
   0..1}
            sharding-strategy:
              standard:
                sharding-column: order_date
                sharding-algorithm-name: t_order_table_hash_mod
        # 分片算法定义
        sharding-algorithms:
          t_order_table_hash_mod:
            type: HASH_MOD # 哈希取模分片算法
            props:
              # 指定分片数量
              sharding-count: 6
        tables:
          t_order: # 逻辑表名称
            actual-data-nodes: db$->{
   
   0..1}.t_order_${
   
   0..2}
            # 分库策略
            database-strategy:
            ....
            # 分表策略
            table-strategy:
              standard:
                sharding-column: order_id
                sharding-algorithm-name: t_order_table_hash_mod

2.2.2.标准分片算法

1.INLINE

行表达式分片算法，适用于比较简单的分片场景，利用Groovy表达式在算法属性内，直接书写分片逻辑，省却了配置和代码开发，只支持SQL语句中的 = 和 IN 的分片操作，只支持单分片键。

该算法有两属性：

• algo