数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 路由（二）之分库分表路由

最新推荐文章于 2024-08-05 08:48:50 发布
最新推荐文章于 2024-08-05 08:48:50 发布
阅读量921 收藏
点赞数
分类专栏： sharding-jdbc

������关注微信公众号：【芋道源码】有福利： 
1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表 
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址 
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。 
4. 新的源码解析文章实时收到通知。每周更新一篇左右。 
5. 认真的源码交流微信群。

本文主要基于 Sharding-JDBC 1.5.0 正式版

1. 概述

本文分享分表分库路由相关的实现。涉及内容如下：

  1. SQL 路由结果
  2. 路由策略 x 算法
  3. SQL 路由器

内容顺序如编号。

**Sharding-JDBC 正在收集使用公司名单：传送门。 
�� 你的登记，会让更多人参与和使用 Sharding-JDBC。传送门 
Sharding-JDBC 也会因此，能够覆盖更多的业务场景。传送门 
登记吧，骚年！传送门**

SQL 路由大体流程如下：

2. SQLRouteResult

经过 SQL解析、SQL路由后，产生SQL路由结果，即 SQLRouteResult。根据路由结果，生成SQL，执行SQL。

  • sqlStatement ：SQL语句对象，经过SQL解析的结果对象。
  • executionUnits ：SQL最小执行单元集合。SQL执行时，执行每个单元。
  • generatedKeys ：**插入**SQL语句生成的主键编号集合。目前不支持批量插入而使用集合的原因，猜测是为了未来支持批量插入做准备。

3. 路由策略 x 算法

ShardingStrategy，分片策略。目前支持两种分片：

分片资源：在分库策略里指的是库，在分表策略里指的是表。

【1】 计算静态分片（常用）

// ShardingStrategy.java
/**
* 计算静态分片.
* @param sqlType SQL语句的类型
* @param availableTargetNames 所有的可用分片资源集合
* @param shardingValues 分片值集合
* @return 分库后指向的数据源名称集合
*/
public Collection<String> doStaticSharding(final SQLType sqlType, final Collection<String> availableTargetNames, final Collection<ShardingValue<?>> shardingValues) {
   Collection<String> result = new TreeSet<>(String.CASE_INSENSITIVE_ORDER);
   if (shardingValues.isEmpty()) {
       Preconditions.checkState(!isInsertMultiple(sqlType, availableTargetNames), "INSERT statement should contain sharding value."); // 插入不能有多资源对象
       result.addAll(availableTargetNames);
   } else {
       result.addAll(doSharding(shardingValues, availableTargetNames));
   }
   return result;
}
/**
* 插入SQL 是否插入多个分片
* @param sqlType SQL类型
* @param availableTargetNames 所有的可用分片资源集合
* @return 是否
*/
private boolean isInsertMultiple(final SQLType sqlType, final Collection<String> availableTargetNames) {
   return SQLType.INSERT == sqlType && availableTargetNames.size() > 1;
}
  • 插入SQL 需要有片键值，否则无法判断单个分片资源。（Sharding-JDBC 目前仅支持单条记录插入）

【2】计算动态分片

// ShardingStrategy.java
/**
* 计算动态分片.
* @param shardingValues 分片值集合
* @return 分库后指向的分片资源集合
*/
public Collection<String> doDynamicSharding(final Collection<ShardingValue<?>> shardingValues) {
   Preconditions.checkState(!shardingValues.isEmpty(), "Dynamic table should contain sharding value."); // 动态分片必须有分片值
   Collection<String> availableTargetNames = Collections.emptyList();
   Collection<String> result = new TreeSet<>(String.CASE_INSENSITIVE_ORDER);
   result.addAll(doSharding(shardingValues, availableTargetNames));
   return result;
}
  • 动态分片对应 TableRule.dynamic=true
  • 动态分片必须有分片值

�� 闷了，看起来两者没啥区别？答案在分片算法上。我们先看 #doSharding() 方法的实现。

// ShardingStrategy.java
/**
* 计算分片
* @param shardingValues 分片值集合
* @param availableTargetNames 所有的可用分片资源集合
* @return 分库后指向的分片资源集合
*/
private Collection<String> doSharding(final Collection<ShardingValue<?>> shardingValues, final Collection<String> availableTargetNames) {
   // 无片键
   if (shardingAlgorithm instanceof NoneKeyShardingAlgorithm) {
       return Collections.singletonList(((NoneKeyShardingAlgorithm) shardingAlgorithm).doSharding(availableTargetNames, shardingValues.iterator().next()));
   }
   // 单片键
   if (shardingAlgorithm instanceof SingleKeyShardingAlgorithm) {
       SingleKeyShardingAlgorithm<?> singleKeyShardingAlgorithm = (SingleKeyShardingAlgorithm<?>) shardingAlgorithm;
       ShardingValue shardingValue = shardingValues.iterator().next();
       switch (shardingValue.getType()) {
           case SINGLE:
               return Collections.singletonList(singleKeyShardingAlgorithm.doEqualSharding(availableTargetNames, shardingValue));
           case LIST:
               return singleKeyShardingAlgorithm.doInSharding(availableTargetNames, shardingValue);
           case RANGE:
               return singleKeyShardingAlgorithm.doBetweenSharding(availableTargetNames, shardingValue);
           default:
               throw new UnsupportedOperationException(shardingValue.getType().getClass().getName());
       }
   }
   // 多片键
   if (shardingAlgorithm instanceof MultipleKeysShardingAlgorithm) {
       return ((MultipleKeysShardingAlgorithm) shardingAlgorithm).doSharding(availableTargetNames, shardingValues);
   }
   throw new UnsupportedOperationException(shardingAlgorithm.getClass().getName());
}
  • 无分片键算法：对应 NoneKeyShardingAlgorithm 分片算法接口。
public interface NoneKeyShardingAlgorithm<T extends Comparable<?>> extends ShardingAlgorithm {
    String doSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
}
  • 单片键算法：对应 SingleKeyShardingAlgorithm 分片算法接口。
public interface SingleKeyShardingAlgorithm<T extends Comparable<?>> extends ShardingAlgorithm {
    String doEqualSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
    Collection<String> doInSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
    Collection<String> doBetweenSharding(Collection<String> availableTargetNames, ShardingValue<T> shardingValue);
}
ShardingValueTypeSQL 操作符接口方法
SINGLE=#doEqualSharding()
LISTIN#doInSharding()
RANGEBETWEEN#doBetweenSharding()

* 多片键算法：对应 MultipleKeysShardingAlgorithm 分片算法接口。

public interface MultipleKeysShardingAlgorithm extends ShardingAlgorithm {
    Collection<String> doSharding(Collection<String> availableTargetNames, Collection<ShardingValue<?>> shardingValues);
}

分片算法类结构如下：

来看看 Sharding-JDBC 实现的无需分库的分片算法 NoneDatabaseShardingAlgorithm (NoneTableShardingAlgorithm 基本一模一样)：

public final class NoneDatabaseShardingAlgorithm implements SingleKeyDatabaseShardingAlgorithm<String>, MultipleKeysDatabaseShardingAlgorithm { 
    @Override
    public Collection<String> doSharding(final Collection<String> availableTargetNames, final Collection<ShardingValue<?>> shardingValues) {
        return availableTargetNames;
    }
    @Override
    public String doEqualSharding(final Collection<String> availableTargetNames, final ShardingValue<String> shardingValue) {
        return availableTargetNames.isEmpty() ? null : availableTargetNames.iterator().next();
    }
    @Override
    public Collection<String> doInSharding(final Collection<String> availableTargetNames, final ShardingValue<String> shardingValue) {
        return availableTargetNames;
    }
    @Override
    public Collection<String> doBetweenSharding(final Collection<String> availableTargetNames, final ShardingValue<String> shardingValue) {
        return availableTargetNames;
    }
}
  • 一定要注意，NoneXXXXShardingAlgorithm 只适用于无分库/表的需求，否则会是错误的路由结果。例如，#doEqualSharding()返回的是第一个分片资源。

再来看测试目录下实现的余数基偶分表算法 ModuloTableShardingAlgorithm 的实现：

// com.dangdang.ddframe.rdb.integrate.fixture.ModuloTableShardingAlgorithm.java
public final class ModuloTableShardingAlgorithm implements SingleKeyTableShardingAlgorithm<Integer> {
    @Override
    public String doEqualSharding(final Collection<String> tableNames, final ShardingValue<Integer> shardingValue) {
        for (String each : tableNames) {
            if (each.endsWith(shardingValue.getValue() % 2 + "")) {
                return each;
            }
        }
        throw new UnsupportedOperationException();
    }
    @Override
    public Collection<String> doInSharding(final Collection<String> tableNames, final ShardingValue<Integer> shardingValue) {
        Collection<String> result = new LinkedHashSet<>(tableNames.size());
        for (Integer value : shardingValue.getValues()) {
            for (String tableName : tableNames) {
                if (tableName.endsWith(value % 2 + "")) {
                    result.add(tableName);
                }
            }
        }
        return result;
    }
    @Override
    public Collection<String> doBetweenSharding(final Collection<String> tableNames, final ShardingValue<Integer> shardingValue) {
        Collection<String> result = new LinkedHashSet<>(tableNames.size());
        Range<Integer> range = shardingValue.getValueRange();
        for (Integer i = range.lowerEndpoint(); i <= range.upperEndpoint(); i++) {
            for (String each : tableNames) {
                if (each.endsWith(i % 2 + "")) {
                    result.add(each);
                }
            }
        }
        return result;
    }
}

�� 来看看动态计算分片需要怎么实现分片算法。

// com.dangdang.ddframe.rdb.integrate.fixture.SingleKeyDynamicModuloTableShardingAlgorithm.java
public final class SingleKeyDynamicModuloTableShardingAlgorithm implements SingleKeyTableShardingAlgorithm<Integer> {
    /**
    * 表前缀
    */
    private final String tablePrefix;
    @Override
    public String doEqualSharding(final Collection<String> availableTargetNames, final ShardingValue<Integer> shardingValue) {
        return tablePrefix + shardingValue.getValue() % 10;
    }
    @Override
    public Collection<String> doInSharding(final Collection<String> availableTargetNames, final ShardingValue<Integer> shardingValue) {
        Collection<String> result = new LinkedHashSet<>(shardingValue.getValues().size());
        for (Integer value : shardingValue.getValues()) {
            result.add(tablePrefix + value % 10);
        }
        return result;
    }
    @Override
    public Collection<String> doBetweenSharding(final Collection<String> availableTargetNames, final ShardingValue<Integer> shardingValue) {
        Collection<String> result = new LinkedHashSet<>(availableTargetNames.size());
        Range<Integer> range = shardingValue.getValueRange();
        for (Integer i = range.lowerEndpoint(); i <= range.upperEndpoint(); i++) {
            result.add(tablePrefix + i % 10);
        }
        return result;
    }
}
  • 骚年，是不是明白了一些？动态表无需把真实表配置到 TableRule，而是通过分片算法计算出真实表。

4. SQL 路由

SQLRouter，SQL 路由器接口，共有两种实现：

  • DatabaseHintSQLRouter：通过提示且仅路由至数据库的SQL路由器
  • ParsingSQLRouter：需要解析的SQL路由器

它们实现 #parse()进行SQL解析，#route()进行SQL路由。

RoutingEngine，路由引擎接口，共有四种实现：

  • DatabaseHintRoutingEngine：基于数据库提示的路由引擎
  • SimpleRoutingEngine：简单路由引擎
  • CartesianRoutingEngine：笛卡尔积的库表路由
  • ComplexRoutingEngine：混合多库表路由引擎

ComplexRoutingEngine 根据路由结果会转化成 SimpleRoutingEngine 或 ComplexRoutingEngine。下文会看相应源码。

路由结果有两种：

  • RoutingResult：简单路由结果
  • CartesianRoutingResult：笛卡尔积路由结果

从图中，我们已经能大概看到两者有什么区别，更具体的下文随源码一起分享。

�� SQLRouteResult 和 RoutingResult 有什么区别？

  • SQLRouteResult：整个SQL路由返回的路由结果
  • RoutingResult：RoutingEngine返回路由结果

一下子看到这么多“对象”，可能有点紧张。不要紧张，我们一起在整理下。

路由器路由引擎路由结果
DatabaseHintSQLRouterDatabaseHintRoutingEngineRoutingResult
ParsingSQLRouterSimpleRoutingEngineRoutingResult
ParsingSQLRouterCartesianRoutingEngineCartesianRoutingResult

�� 逗比博主给大家解决了“对象”，是不是应该分享朋友圈。

5. DatabaseHintSQLRouter

DatabaseHintSQLRouter，基于数据库提示的路由引擎。路由器工厂 SQLRouterFactory 创建路由器时，判断到使用数据库提示( Hint ) 时，创建 DatabaseHintSQLRouter。

// DatabaseHintRoutingEngine.java
public static SQLRouter createSQLRouter(final ShardingContext shardingContext) {
   return HintManagerHolder.isDatabaseShardingOnly() ? new DatabaseHintSQLRouter(shardingContext) : new ParsingSQLRouter(shardingContext);
}

先来看下 HintManagerHolder、HintManager 部分相关的代码：

// HintManagerHolder.java
public final class HintManagerHolder {
    /**
     * HintManager 线程变量
     */
    private static final ThreadLocal<HintManager> HINT_MANAGER_HOLDER = new ThreadLocal<>();
    /**
     * 判断是否当前只分库.
     * 
     * @return 是否当前只分库.
     */
    public static boolean isDatabaseShardingOnly() {
        return null != HINT_MANAGER_HOLDER.get() && HINT_MANAGER_HOLDER.get().isDatabaseShardingOnly();
    }
    /**
     * 清理线索分片管理器的本地线程持有者.
     */
    public static void clear() {
        HINT_MANAGER_HOLDER.remove();
    }
}

// HintManager.java
public final class HintManager implements AutoCloseable {
    /**
     * 库分片值集合
     */
    private final Map<ShardingKey, ShardingValue<?>> databaseShardingValues = new HashMap<>();
    /**
     * 只做库分片
     * {@link DatabaseHintRoutingEngine}
     */
    @Getter
    private boolean databaseShardingOnly;
    /**
     * 获取线索分片管理器实例.
     * 
     * @return 线索分片管理器实例
     */
    public static HintManager getInstance() {
        HintManager result = new HintManager();
        HintManagerHolder.setHintManager(result);
        return result;
    }
    /**
     * 设置分库分片值.
     * 
     * <p>分片操作符为等号.该方法适用于只分库的场景</p>
     * 
     * @param value 分片值
     */
    public void setDatabaseShardingValue(final Comparable<?> value) {
        databaseShardingOnly = true;
        addDatabaseShardingValue(HintManagerHolder.DB_TABLE_NAME, HintManagerHolder.DB_COLUMN_NAME, value);
    }
}

那么如果要使用 DatabaseHintSQLRouter，我们只需要 HintManager.getInstance().setDatabaseShardingValue(库分片值) 即可。这里有两点要注意下：

  • HintManager#getInstance()，每次获取到的都是新的 HintManager，多次赋值需要小心。
  • HintManager#close()，使用完需要去清理，避免下个请求读到遗漏的线程变量。

看看 DatabaseHintSQLRouter 的实现：

// DatabaseHintSQLRouter.java
@Override
public SQLStatement parse(final String logicSQL, final int parametersSize) {
   return new SQLJudgeEngine(logicSQL).judge(); // 只解析 SQL 类型
}  
@Override
// TODO insert的SQL仍然需要解析自增主键
public SQLRouteResult route(final String logicSQL, final List<Object> parameters, final SQLStatement sqlStatement) {
   Context context = MetricsContext.start("Route SQL");
   SQLRouteResult result = new SQLRouteResult(sqlStatement);
   // 路由
   RoutingResult routingResult = new DatabaseHintRoutingEngine(shardingRule.getDataSourceRule(), shardingRule.getDatabaseShardingStrategy(), sqlStatement.getType())
           .route();
   // SQL最小执行单元
   for (TableUnit each : routingResult.getTableUnits().getTableUnits()) {
       result.getExecutionUnits().add(new SQLExecutionUnit(each.getDataSourceName(), logicSQL));
   }
   MetricsContext.stop(context);
   if (showSQL) {
       SQLLogger.logSQL(logicSQL, sqlStatement, result.getExecutionUnits(), parameters);
   }
   return result;
}
  • #parse() 只解析了 SQL 类型，即 SELECT / UPDATE / DELETE / INSERT 。
  • 使用的分库策略来自 ShardingRule，不是 TableRule，这个一定要留心。❓因为 SQL 未解析表名。因此，即使在 TableRule 设置了 actualTables 属性也是没有效果的。
  • 目前不支持 Sharding-JDBC 的主键自增。❓因为 SQL 未解析自增主键。从代码上的TODO应该会支持。
  • HintManager.getInstance().setDatabaseShardingValue(库分片值) 设置的库分片值使用的是 EQUALS，因而分库策略计算出来的只有一个库分片，即 TableUnit 只有一个，SQLExecutionUnit 只有一个。

看看 DatabaseHintSQLRouter 的实现：

// DatabaseHintRoutingEngine.java
@Override
public RoutingResult route() {
   // 从 Hint 获得 分片键值
   Optional<ShardingValue<?>> shardingValue = HintManagerHolder.getDatabaseShardingValue(new ShardingKey(HintManagerHolder.DB_TABLE_NAME, HintManagerHolder.DB_COLUMN_NAME));
   Preconditions.checkState(shardingValue.isPresent());
   log.debug("Before database sharding only db:{} sharding values: {}", dataSourceRule.getDataSourceNames(), shardingValue.get());
   // 路由。表分片规则使用的是 ShardingRule 里的。因为没 SQL 解析。
   Collection<String> routingDataSources = databaseShardingStrategy.doStaticSharding(sqlType, dataSourceRule.getDataSourceNames(), Collections.<ShardingValue<?>>singleton(shardingValue.get()));
   Preconditions.checkState(!routingDataSources.isEmpty(), "no database route info");
   log.debug("After database sharding only result: {}", routingDataSources);
   // 路由结果
   RoutingResult result = new RoutingResult();
   for (String each : routingDataSources) {
       result.getTableUnits().getTableUnits().add(new TableUnit(each, "", ""));
   }
   return result;
}
  • 只调用 databaseShardingStrategy.doStaticSharding() 方法计算库分片。
  • new TableUnit(each, "", "") 的 logicTableName，actualTableName 都是空串，相信原因你已经知道。

6. ParsingSQLRouter

ParsingSQLRouter，需要解析的SQL路由器。

ParsingSQLRouter 使用 SQLParsingEngine 解析SQL。对SQL解析有兴趣的同学可以看看拙作《Sharding-JDBC 源码分析 —— SQL 解析》。

// ParsingSQLRouter.java
public SQLStatement parse(final String logicSQL, final int parametersSize) {
   SQLParsingEngine parsingEngine = new SQLParsingEngine(databaseType, logicSQL, shardingRule);
   Context context = MetricsContext.start("Parse SQL");
   SQLStatement result = parsingEngine.parse();
   if (result instanceof InsertStatement) {
       ((InsertStatement) result).appendGenerateKeyToken(shardingRule, parametersSize);
   }
   MetricsContext.stop(context);
   return result;
}

ParsingSQLRouter 在路由时，会根据表情况使用 SimpleRoutingEngine 或 CartesianRoutingEngine 进行路由。

private RoutingResult route(final List<Object> parameters, final SQLStatement sqlStatement) {
   Collection<String> tableNames = sqlStatement.getTables().getTableNames();
   RoutingEngine routingEngine;
   if (1 == tableNames.size() || shardingRule.isAllBindingTables(tableNames)) {
       routingEngine = new SimpleRoutingEngine(shardingRule, parameters, tableNames.iterator().next(), sqlStatement);
   } else {
       // TODO 可配置是否执行笛卡尔积
       routingEngine = new ComplexRoutingEngine(shardingRule, parameters, tableNames, sqlStatement);
   }
   return routingEngine.route();
}
  • 当只进行一张表或者多表互为BindingTable关系时，使用 SimpleRoutingEngine 简单路由引擎。多表互为BindingTable关系时，每张表的路由结果是相同的，所以只要计算第一张表的分片即可。
  • tableNames.iterator().next() 注意下，tableNames 变量是 new TreeMap<>(String.CASE_INSENSITIVE_ORDER)。所以 SELECT * FROM t_order o join t_order_item i ON o.order_id = i.order_id 即使 t_order_item 排在 t_order 前面，tableNames.iterator().next() 返回的是 t_order。当 t_order 和 t_order_item 为 BindingTable关系 时，计算的是 t_order路由分片。
  • BindingTable关系在 ShardingRule 的 tableRules 配置。配置该关系 TableRule 有如下需要遵守的规则： 
    • 分片策略与算法相同
    • 数据源配置对象相同
    • 真实表数量相同

举个例子：

  • SQL ：SELECT * FROM t_order o join t_order_item i ON o.order_id = i.order_id
  • 分库分表情况：
multi_db_multi_table_01
  ├── t_order_0                        ├── t_order_item_01
  └── t_order_1                        ├── t_order_item_02
                                       ├── t_order_item_03
                                       ├── t_order_item_04
multi_db_multi_table_02
  ├── t_order_0                        ├── t_order_item_01
  └── t_order_1                        ├── t_order_item_02
                                       ├── t_order_item_03
                                       ├── t_order_item_04

最终执行的SQL如下：

  • t_order_item_03、t_order_item_04 无法被查询到。

下面我们看看 #isAllBindingTables() 如何实现多表互为BindingTable关系。

// ShardingRule.java
// 调用顺序 #isAllBindingTables()=>#filterAllBindingTables()=>#findBindingTableRule()=>#findBindingTableRule()
/**
* 判断逻辑表名称集合是否全部属于Binding表.
* @param logicTables 逻辑表名称集合
*/
public boolean isAllBindingTables(final Collection<String> logicTables) {
   Collection<String> bindingTables = filterAllBindingTables(logicTables);
   return !bindingTables.isEmpty() && bindingTables.containsAll(logicTables);
}
/**
* 过滤出所有的Binding表名称.
*/
public Collection<String> filterAllBindingTables(final Collection<String> logicTables) {
   if (logicTables.isEmpty()) {
       return Collections.emptyList();
   }
   Optional<BindingTableRule> bindingTableRule = findBindingTableRule(logicTables);
   if (!bindingTableRule.isPresent()) {
       return Collections.emptyList();
   }
   // 交集
   Collection<String> result = new ArrayList<>(bindingTableRule.get().getAllLogicTables());
   result.retainAll(logicTables);
   return result;
}
/**
* 获得包含<strong>任一</strong>在逻辑表名称集合的binding表配置的逻辑表名称集合
*/
private Optional<BindingTableRule> findBindingTableRule(final Collection<String> logicTables) {
   for (String each : logicTables) {
       Optional<BindingTableRule> result = findBindingTableRule(each);
       if (result.isPresent()) {
           return result;
       }
   }
   return Optional.absent();
}
/**
* 根据逻辑表名称获取binding表配置的逻辑表名称集合.
*/
public Optional<BindingTableRule> findBindingTableRule(final String logicTable) {
   for (BindingTableRule each : bindingTableRules) {
       if (each.hasLogicTable(logicTable)) {
           return Optional.of(each);
       }
   }
   return Optional.absent();
}
  • 逻辑看起来比较长，目的是找到一条 BindingTableRule 包含所有逻辑表集合
  • 不支持《传递关系》：配置 BindingTableRule 时，相同绑定关系一定要配置在一条，必须是 [a, b, c]，而不能是 [a, b], [b, c]。

6.1 SimpleRoutingEngine

SimpleRoutingEngine，简单路由引擎。

// SimpleRoutingEngine.java
private Collection<String> routeDataSources(final TableRule tableRule) {
   DatabaseShardingStrategy strategy = shardingRule.getDatabaseShardingStrategy(tableRule);
   List<ShardingValue<?>> shardingValues = HintManagerHolder.isUseShardingHint() ? getDatabaseShardingValuesFromHint(strategy.getShardingColumns())
           : getShardingValues(strategy.getShardingColumns());
   Collection<String> result = strategy.doStaticSharding(sqlStatement.getType(), tableRule.getActualDatasourceNames(), shardingValues);
   Preconditions.checkState(!result.isEmpty(), "no database route info");
   return result;
}
private List<ShardingValue<?>> getShardingValues(final Collection<String> shardingColumns) {
   List<ShardingValue<?>> result = new ArrayList<>(shardingColumns.size());
   for (String each : shardingColumns) {
       Optional<Condition> condition = sqlStatement.getConditions().find(new Column(each, logicTableName));
       if (condition.isPresent()) {
           result.add(condition.get().getShardingValue(parameters));
       }
   }
   return result;
}
  • 可以使用 HintManager 设置库分片值进行强制路由。
  • #getShardingValues() 我们看到了《SQL 解析（二）之SQL解析》分享的 Condition 对象。之前我们提到过Parser 半理解SQL的目的之一是：提炼分片上下文，此处即是该目的的体现。Condition 里只放明确影响路由的条件，例如：order_id = 1, order_id IN (1, 2), order_id BETWEEN (1, 3)，不放无法计算的条件，例如：o.order_id = i.order_id。该方法里，使用分片键从 Condition 查找 分片值。�� 是不是对 Condition 的认识更加清晰一丢丢落。
// SimpleRoutingEngine.java
private Collection<String> routeTables(final TableRule tableRule, final Collection<String> routedDataSources) {
   TableShardingStrategy strategy = shardingRule.getTableShardingStrategy(tableRule);
   List<ShardingValue<?>> shardingValues = HintManagerHolder.isUseShardingHint() ? getTableShardingValuesFromHint(strategy.getShardingColumns())
           : getShardingValues(strategy.getShardingColumns());
   Collection<String> result = tableRule.isDynamic() ? strategy.doDynamicSharding(shardingValues)
           : strategy.doStaticSharding(sqlStatement.getType(), tableRule.getActualTableNames(routedDataSources), shardingValues);
   Preconditions.checkState(!result.isEmpty(), "no table route info");
   return result;
}
  • 可以使用 HintManager 设置表分片值进行强制路由。
  • 根据 dynamic 属性来判断调用 #doDynamicSharding() 还是 #doStaticSharding() 计算分片。
// SimpleRoutingEngine.java
private RoutingResult generateRoutingResult(final TableRule tableRule, final Collection<String> routedDataSources, final Collection<String> routedTables) {
   RoutingResult result = new RoutingResult();
   for (DataNode each : tableRule.getActualDataNodes(routedDataSources, routedTables)) {
       result.getTableUnits().getTableUnits().add(new TableUnit(each.getDataSourceName(), logicTableName, each.getTableName()));
   }
   return result;
}

// TableRule.java
/**
* 根据数据源名称过滤获取真实数据单元.
* @param targetDataSources 数据源名称集合
* @param targetTables 真实表名称集合
* @return 真实数据单元
*/
public Collection<DataNode> getActualDataNodes(final Collection<String> targetDataSources, final Collection<String> targetTables) {
   return dynamic ? getDynamicDataNodes(targetDataSources, targetTables) : getStaticDataNodes(targetDataSources, targetTables);
}  
private Collection<DataNode> getDynamicDataNodes(final Collection<String> targetDataSources, final Collection<String> targetTables) {
   Collection<DataNode> result = new LinkedHashSet<>(targetDataSources.size() * targetTables.size());
   for (String targetDataSource : targetDataSources) {
       for (String targetTable : targetTables) {
           result.add(new DataNode(targetDataSource, targetTable));
       }
   }
   return result;
} 
private Collection<DataNode> getStaticDataNodes(final Collection<String> targetDataSources, final Collection<String> targetTables) {
   Collection<DataNode> result = new LinkedHashSet<>(actualTables.size());
   for (DataNode each : actualTables) {
       if (targetDataSources.contains(each.getDataSourceName()) && targetTables.contains(each.getTableName())) {
           result.add(each);
       }
   }
   return result;
}
  • 在 SimpleRoutingEngine 只生成了当前表的 TableUnits。如果存在与其互为BindingTable关系的表的 TableUnits 怎么获得？你可以想想噢，当然在后文《SQL 改写》也会给出答案，看看和你想的是否一样。

6.2 ComplexRoutingEngine

ComplexRoutingEngine，混合多库表路由引擎。

// ComplexRoutingEngine.java
@Override
public RoutingResult route() {
   Collection<RoutingResult> result = new ArrayList<>(logicTables.size());
   Collection<String> bindingTableNames = new TreeSet<>(String.CASE_INSENSITIVE_ORDER);
   // 计算每个逻辑表的简单路由分片
   for (String each : logicTables) {
       Optional<TableRule> tableRule = shardingRule.tryFindTableRule(each);
       if (tableRule.isPresent()) {
           if (!bindingTableNames.contains(each)) {
               result.add(new SimpleRoutingEngine(shardingRule, parameters, tableRule.get().getLogicTable(), sqlStatement).route());
           }
           // 互为 BindingTable 关系的表加到 bindingTableNames 里，不重复计算分片
           Optional<BindingTableRule> bindingTableRule = shardingRule.findBindingTableRule(each);
           if (bindingTableRule.isPresent()) {
               bindingTableNames.addAll(Lists.transform(bindingTableRule.get().getTableRules(), new Function<TableRule, String>() {

                   @Override
                   public String apply(final TableRule input) {
                       return input.getLogicTable();
                   }
               }));
           }
       }
   }
   log.trace("mixed tables sharding result: {}", result);
   if (result.isEmpty()) {
       throw new ShardingJdbcException("Cannot find table rule and default data source with logic tables: '%s'", logicTables);
   }
   // 防御性编程。shardingRule#isAllBindingTables() 已经过滤了这个情况。
   if (1 == result.size()) {
       return result.iterator().next();
   }
   // 交给 CartesianRoutingEngine 形成笛卡尔积结果
   return new CartesianRoutingEngine(result).route();
}
  • ComplexRoutingEngine 计算每个逻辑表的简单路由分片，路由结果交给 CartesianRoutingEngine 继续路由形成笛卡尔积结果。

  • 由于目前 ComplexRoutingEngine 路由前已经判断全部表互为 BindingTable 关系，因而不会出现 result.size == 1，属于防御性编程。
  • 部分表互为 BindingTable 关系时，ComplexRoutingEngine 不重复计算分片。

6.3 CartesianRoutingEngine

CartesianRoutingEngine，笛卡尔积的库表路由。

实现逻辑上相对复杂，请保持耐心哟，�� 其实目的就是实现连连看的效果：

  • RoutingResult[0] x RoutingResult[1] …… x RoutingResult[n- 1] x RoutingResult[n]
  • 同库 才可以进行笛卡尔积
// CartesianRoutingEngine.java
@Override
public CartesianRoutingResult route() {
   CartesianRoutingResult result = new CartesianRoutingResult();
   for (Entry<String, Set<String>> entry : getDataSourceLogicTablesMap().entrySet()) { // Entry<数据源（库）, Set<逻辑表>> entry
       // 获得当前数据源（库）的 路由表单元分组
       List<Set<String>> actualTableGroups = getActualTableGroups(entry.getKey(), entry.getValue()); // List<Set<真实表>>
       List<Set<TableUnit>> tableUnitGroups = toTableUnitGroups(entry.getKey(), actualTableGroups);
       // 笛卡尔积，并合并结果
       result.merge(entry.getKey(), getCartesianTableReferences(Sets.cartesianProduct(tableUnitGroups)));
   }
   log.trace("cartesian tables sharding result: {}", result);
   return result;
}
  • 第一步，获得同库对应的逻辑表集合，即 Entry<数据源（库）, Set<逻辑表>> entry。
  • 第二步，遍历数据源（库），获得当前数据源（库）的路由表单元分组。
  • 第三步，对路由表单元分组进行笛卡尔积，并合并到路由结果。

下面，我们一起逐步看看代码实现。

  • SQL ：SELECT * FROM t_order o join t_order_item i ON o.order_id = i.order_id
  • 分库分表情况：
multi_db_multi_table_01
  ├── t_order_0                        ├── t_order_item_01
  └── t_order_1                        ├── t_order_item_02
multi_db_multi_table_02
  ├── t_order_0                        ├── t_order_item_01
  └── t_order_1                        ├── t_order_item_02
// 第一步
// CartesianRoutingEngine.java
/**
* 获得同库对应的逻辑表集合
*/
private Map<String, Set<String>> getDataSourceLogicTablesMap() {
   Collection<String> intersectionDataSources = getIntersectionDataSources();
   Map<String, Set<String>> result = new HashMap<>(routingResults.size());
   // 获得同库对应的逻辑表集合
   for (RoutingResult each : routingResults) {
       for (Entry<String, Set<String>> entry : each.getTableUnits().getDataSourceLogicTablesMap(intersectionDataSources).entrySet()) { // 过滤掉不在数据源（库）交集的逻辑表
           if (result.containsKey(entry.getKey())) {
               result.get(entry.getKey()).addAll(entry.getValue());
           } else {
               result.put(entry.getKey(), entry.getValue());
           }
       }
   }
   return result;
}
/**
* 获得所有路由结果里的数据源（库）交集
*/
private Collection<String> getIntersectionDataSources() {
   Collection<String> result = new HashSet<>();
   for (RoutingResult each : routingResults) {
       if (result.isEmpty()) {
           result.addAll(each.getTableUnits().getDataSourceNames());
       }
       result.retainAll(each.getTableUnits().getDataSourceNames()); // 交集
   }
   return result;
}
  • #getDataSourceLogicTablesMap() 返回如图：
// 第二步
// CartesianRoutingEngine.java
private List<Set<String>> getActualTableGroups(final String dataSource, final Set<String> logicTables) {
   List<Set<String>> result = new ArrayList<>(logicTables.size());
   for (RoutingResult each : routingResults) {
       result.addAll(each.getTableUnits().getActualTableNameGroups(dataSource, logicTables));
   }
   return result;
}
private List<Set<TableUnit>> toTableUnitGroups(final String dataSource, final List<Set<String>> actualTableGroups) {
   List<Set<TableUnit>> result = new ArrayList<>(actualTableGroups.size());
   for (Set<String> each : actualTableGroups) {
       result.add(new HashSet<>(Lists.transform(new ArrayList<>(each), new Function<String, TableUnit>() {

           @Override
           public TableUnit apply(final String input) {
               return findTableUnit(dataSource, input);
           }
       })));
   }
   return result;
}
  • #getActualTableGroups() 返回如图：
  • #toTableUnitGroups() 返回如图：
// CartesianRoutingEngine.java
private List<CartesianTableReference> getCartesianTableReferences(final Set<List<TableUnit>> cartesianTableUnitGroups) {
   List<CartesianTableReference> result = new ArrayList<>(cartesianTableUnitGroups.size());
   for (List<TableUnit> each : cartesianTableUnitGroups) {
       result.add(new CartesianTableReference(each));
   }
   return result;
}

// CartesianRoutingResult.java
@Getter
private final List<CartesianDataSource> routingDataSources = new ArrayList<>();
void merge(final String dataSource, final Collection<CartesianTableReference> routingTableReferences) {
   for (CartesianTableReference each : routingTableReferences) {
       merge(dataSource, each);
   }
}
private void merge(final String dataSource, final CartesianTableReference routingTableReference) {
   for (CartesianDataSource each : routingDataSources) {
       if (each.getDataSource().equalsIgnoreCase(dataSource)) {
           each.getRoutingTableReferences().add(routingTableReference);
           return;
       }
   }
   routingDataSources.add(new CartesianDataSource(dataSource, routingTableReference));
}
  • Sets.cartesianProduct(tableUnitGroups) 返回如图（Guava 工具库真强大）：

  • #getCartesianTableReferences() 返回如图：

    CartesianTableReference，笛卡尔积表路由组，包含多条 TableUnit，即 TableUnit[0] x TableUnit[1] …… x TableUnit[n]。例如图中：t_order_01 x t_order_item_02，最终转换成 SQL 为 SELECT * FROM t_order_01 o join t_order_item_02 i ON o.order_id = i.order_id。

  • #merge() 合并笛卡尔积路由结果。CartesianRoutingResult 包含多个 CartesianDataSource，因此需要将 CartesianTableReference 合并（添加）到对应的 CartesianDataSource。当然，目前在实现时已经是按照数据源（库）生成对应的 CartesianTableReference。

6.4 ParsingSQLRouter 主#route()

// ParsingSQLRouter.java
@Override
public SQLRouteResult route(final String logicSQL, final List<Object> parameters, final SQLStatement sqlStatement) {
   final Context context = MetricsContext.start("Route SQL");
   SQLRouteResult result = new SQLRouteResult(sqlStatement);
   // 处理 插入SQL 主键字段
   if (sqlStatement instanceof InsertStatement && null != ((InsertStatement) sqlStatement).getGeneratedKey()) {
       processGeneratedKey(parameters, (InsertStatement) sqlStatement, result);
   }
   // ������ 路由 ������
   RoutingResult routingResult = route(parameters, sqlStatement);
   // SQL重写引擎
   SQLRewriteEngine rewriteEngine = new SQLRewriteEngine(shardingRule, logicSQL, sqlStatement);
   boolean isSingleRouting = routingResult.isSingleRouting();
   // 处理分页
   if (sqlStatement instanceof SelectStatement && null != ((SelectStatement) sqlStatement).getLimit()) {
       processLimit(parameters, (SelectStatement) sqlStatement, isSingleRouting);
   }
   // SQL 重写
   SQLBuilder sqlBuilder = rewriteEngine.rewrite(!isSingleRouting);
   // 生成 ExecutionUnit
   if (routingResult instanceof CartesianRoutingResult) {
       for (CartesianDataSource cartesianDataSource : ((CartesianRoutingResult) routingResult).getRoutingDataSources()) {
           for (CartesianTableReference cartesianTableReference : cartesianDataSource.getRoutingTableReferences()) {
               result.getExecutionUnits().add(new SQLExecutionUnit(cartesianDataSource.getDataSource(), rewriteEngine.generateSQL(cartesianTableReference, sqlBuilder))); // 生成 SQL
           }
       }
   } else {
       for (TableUnit each : routingResult.getTableUnits().getTableUnits()) {
           result.getExecutionUnits().add(new SQLExecutionUnit(each.getDataSourceName(), rewriteEngine.generateSQL(each, sqlBuilder))); // 生成 SQL
       }
   }
   MetricsContext.stop(context);
   // 打印 SQL
   if (showSQL) {
       SQLLogger.logSQL(logicSQL, sqlStatement, result.getExecutionUnits(), parameters);
   }
   return result;
}
  • RoutingResult routingResult = route(parameters, sqlStatement); 调用的就是上文分析的 SimpleRoutingEngine、ComplexRoutingEngine、CartesianRoutingEngine 的 #route() 方法。
  • #processGeneratedKey()、#processLimit()、#rewrite()、#generateSQL() 等会放在《SQL 改写》 分享。

666. 彩蛋

篇幅有些长，希望能让大家对路由有比较完整的认识。 
如果内容有错误，烦请您指正，我会认真修改。 
如果表述不清晰，不太理解的，欢迎加我微信（wangwenbin-server）一起探讨。

谢谢你技术这么好，还耐心看完了本文。

强制路由 HintManager 讲的相对略过，可以看如下内容进一步了解：

  1. 《官方文档-强制路由》
  2. HintManager.java 源码

厚着脸皮，道友，辛苦分享朋友圈可好？！

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/github_38592071/article/details/78079368

varyall
关注
专栏目录
springboot整合sharding-jdbc实现分库分表详解
congge
05-21 6874
springboot整合sharding-jdbc实现分库分表详解
sharding-jdbc之——分库分表实例完整源码
02-25
sharding-jdbc之——分库分表实例完整源码，详情请参见博文：http://blog.csdn.net/l1028386804/article/details/79368021
数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 路由（二）之分库分表路由...
weixin_34349320的博客
09-24 223
2019独角兽企业重金招聘Python工程师标准>>> ...
数据库系列: 主流分库分表中间件介绍(图文总结)
最新发布
xichji的专栏
08-05 879
同时，也需要关注中间件的发展动态和社区支持情况，以便在后续的技术升级和维护中获得更好的支持。这些中间件在特定的历史时期或特定的业务场景下有一定的应用价值，但随着技术的发展和市场的变化，它们的使用范围和影响力逐渐减弱。然后实施更好的控制和管理，同时使用多台机器的CPU、内存、存储，提供更好的性能。MyCAT是一个开源的分布式数据库中间件，基于Java编写，支持MySQL协议，可以作为MySQL的代理服务器使用。用于实现数据库代理功能的模块，它可以将数据库请求路由到不同的数据库节点上，实现读写分离和负载均衡。
分库分表ShardingSphere-ShardingJDBC源码解析
janyxe的博客
03-25 693
系列文章目录 MySQL分表分库基础 分库分表-ShardingSphere基础 分库分表-(ShardingSphere)ShardingJDBC数据分片实战1 分库分表-ShardingJDBC数据分片实战2 文章目录系列文章目录前言一、下载源码以及编译1 下载源码2 导入并编译源码二、深入源码解析1.源码入口2.创建数据源源码解析2.1 创建数据源源码入库2.2 初始化路由规则2.2.1 创建表路由规则2.2.1.1构建分表策略总结 前言 上一篇文章结合一个示例讲解ShardingJDBC的使
分库分表算法
★【World Of Moshow 郑锴】★
03-26 3170
假设目前有一个电商系统使用的是MySQL，要设计大数据量存储、高并发、高性能可扩展的方案，数据库中有用户表。用户会非常多，并且要实现高扩展性，应该怎么分库分表？1.Range范围 2.Hash哈希取模 3.一致性哈希
数据库分库分表常见算法
比起日出，我更喜欢日落。我的意思是比起遇见你，我更喜欢与你终老
02-26 1348
分库分表是一种数据库设计技术，其目的是为了提高数据库的性能和扩展性。它通过将数据库的表拆分到多个数据库中来实现这一目的。要根据实际的业务情况进行组合，例如省、市；男、女；年龄；等等都可以作为策略。增加了系统的复杂性：分库分表会增加系统的复杂性，有时候需要额外的中间件（MyCat）来实现，并且需要在程序中额外处理分库分表的逻辑。分页、排序、跨节点联合查询等等问题。降低了事务的原子性：由于分库分表会将数据存储在多个数据库或表中，因此在一次事务中可能涉及多个数据库，降低了事务的原子性。如何解决跨库事务问题。
数据库+分库分表+sharding-jdbc
04-19
通过以上介绍，我们可以看到，"数据库+分库分表+sharding-jdbc"这个主题涵盖了数据库性能优化、分布式架构设计以及具体实现工具Sharding-JDBC的使用，这些都是构建大规模分布式系统时不可或缺的关键技术。
数据库分库分表中间件 Sharding-JDBC 源码分析 —— SQL 路由（一）分库分表配置
芋艿V
09-24 1486
集成sharding-jdbc实现分库分表.zip
12-19
Sharding-JDBC作为阿里巴巴开源的一款轻量级数据库中间件，它提供了一种无侵入的分库分表解决方案，非常适合于单体项目的数据库扩展。在这个"集成sharding-jdbc实现分库分表.zip"的压缩包中，我们可以深入学习如何将...
分库分表-理论、方案、问题总结
qq_28136919的博客
06-27 2924
分库分表理论、方案设计、带来的问题解决总结文章
笔者带你剖析三种常见的分布式路由算法
varyall的专栏
08-19 5273
　　Redis、Memcache也好，MySQL也罢。当达到单点可处理的容量上线时，Sharding是一种解决痛点最直接的解决方案。假设对存储系统实施了Sharding，那么我们究竟应该如何选取合适的路由算法呢？本文列举三种最常见的分布式理由算法：硬Hash算法、一致性Hash算法，以及预分桶算法。 　　1、硬Hash算法： 　　即hash(routeKey) % dbSize，首先对路由Ke...
分库分表零基础
三血狼
11-26 384
一、前言 中大型项目中，一旦遇到数据量比较大，就应该对数据进行拆分。有垂直和水平两种 。 垂直拆分也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。 水平拆分，是同一个业务数据量大之后，进行水平拆分。 mysql单表存储量推荐是百万级，如果不进行处理，mysql单表数据太大，会导致性能变慢。 把4000万数据拆分4张表或者更多，当然也可以分库，再分表；把压力从数据库层级分开（这里不讨论） 二、分库分表方案 常用方案：hash取模和range范围方案。分表方案最主要就是路由算法，把路由的key
分库分表中间件Mycat配置详解
houkai的博客
06-23 892
目录 Mycat介绍 server.xml schema.xml rule.xml Mycat介绍 Mycat是一个开源的分库分表中间件。Mycat的前身是阿里的Cobar。用于在多个数据库上的表通过mycat代理连接，实现一张或者多张分库或分表的大表数据根据定义的分片规则聚合展示。 学习Mycat主要是学习Mycat的配置文件的配置方法，配置文件中核心的配置文件有se...
一篇文章带你构建"分布式架构"知识图谱——极客时间《左耳听风》分布式系列专题总结
未完成的空间
06-14 1900
最近几年，我们一直在谈论各式各样的架构，如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等。 我在极客时间上我订阅了陈皓开设的《左耳听风》专栏，其中有针对分布式架构的一系列文章，这里对主要的知识点进行简单的总结，作为学习分布式架构的纲要。 分布式系统架构的冰与火；分布式系统的难点；分布式系统的技术栈；分布式系统关键技术：全栈监控；分布式系统关键技术：服务调度；分布式系统关键技术：流量与数据调度；洞悉PaaS平台的本质
Insert statement does not support sharding table routing to multiple data nodes.【已解决sharding-jdbc错误】
热门推荐
小王博客基地
05-27 1万+
错误原因： 导致这个错误的原因： 网上有的说实体类上添加@TableId的主键标识，但是不能解决小编的问题！ 还有一种思路，就是自己的分片策略有问题，不是写错了就是sharding-jdbc的版本不同，yml的写法也是不同的。所以只能一点点的去看自己的配置，一定是配置问题，分片算法配置问题！！ 小编产生的原因是4版本到5版本的改写，差距还是挺大的，一定要看好格式，别多缩进和少缩进 ### Error updating database. Cause: java.lang.IllegalStateExcep
分库分表
java青年才俊
05-29 302
sharding-jdbc系列之按月动态分表 前言 sharding-jdbc默认是不支持在程序的运行过程中动态的创建表的，如果需要做到动态的按月分表，所有的表需要提前创建好哦， 比如，你可以把这两年的表全部建立好。或者另外写个程序，专门用来创建表，具体怎么做，你们自己选择，本文主要是讲，如果通过sharding-jdbc实现按月动态分表。 代码实现 设置数据源的时候，给该表设置分表规则 java代码 @Bean public ShardingRule shardingRule(DataSourceRule
sharding-jdbc行分片策略默认不支持按分片键的范围查询
qq_37402304的博客
07-17 4559
这里写自定义目录标题sharding-jdbc默认不支持分片键的范围查询原因：使用行分片策略解决方案：使用标准分片策略 sharding-jdbc默认不支持分片键的范围查询 在开发时，对主键id做了 范围查询。结果遇到如下报错： Caused by: org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: java.lang.IllegalStateException: Inline s
分库分表中间件
浪迹白杨的博客
06-26 1382
分库分表
Sharding-JDBC分库分表与读写分离实践演示
资源摘要信息:"Sharding-JDBC分库分表是ShardingSphere开源项目中的核心模块之一，旨在提供轻量级Java框架在Java应用层实现分库分表，读写分离等分布式数据库架构解决方案。Sharding-JDBC通过在应用代码中直接嵌入，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值