sharding-JDBC分库分表实战

前言：由于互联网的发展迅速，业务数据量暴增，出现了数据库量过大，需要扩容

扩容的方式：大库拆分成小库，大表拆分成小表

我们用到了sharding-JDBC是针对本文中所说的水平拆分

这里也不去讲解其他分库分表的技术了，例如mycat，可以自行博文搜索了解

大库拆分成小库、大表 拆分成小表

一 数据库垂直拆分

当下springcloud 、dubbo。。类似的这些微服务越来越受欢迎，我们可以根据业务的需要拆分成多个微服务，一并将数据库也拆分成对应的几个数据库，简而言之：一个微服务对应一个数据库，这样大库拆小库就完成了，具体的操作这里就不多讲了，因为本文主要是要讲 sharding-jdbc

二 表的垂直拆分

假设一张订单表，里面有订单的基本信息，又有订单的使用优惠券信息，又有订单的评价信息，我们完全可以拆分成 订单基本信息表：order，订单优惠信息表：order_cuppon，订单评价表：order_assess；

三 水平拆分（我们重点讲下数据库的水平拆分，表的水平拆分思想，理论差不多）

一句话描述，就是将原本的数据分片存储；

我们来看看实战步骤：

1.pom中引入依赖

<dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>${sharding-jdbc.version}</version>
        </dependency>

2.配置文件中配置sharding

2.1我们需要配置多个数据库，假设我们现在是分两个库

# 数据源 多个
spring.shardingsphere.datasource.names=ds0,ds1

# 第一个数据库
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://139.139.139.82:3306/zwt_shop_order_0?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=123456

# 第二个数据库
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://139.139.139.82:3306/zwt_shop_order_1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=123

这里的ds0 和ds1 就是我们两个数据源

2.2 分库策略有多种，默认的是 ”行表达式分片策略“，也是最简单，最容易理解的

下文中product_order为我们实战的逻辑表

我们需要配置一下这个逻辑表的数据分布情况，这张表会在两个库中都存在，并且在每个库中都会有product_order_0,product_order_1表

# 指定product_order表的数据分布情况，配置数据节点,行表达式标识符使用 ${...} 或 $->{...}，
# 但前者与 Spring 本身的文件占位符冲突，所以在 Spring 环境中建议使用 $->{...}
spring.shardingsphere.sharding.tables.product_order.actual-data-nodes=ds$->{0..1}.product_order_$->{0..1}

①行表达式分片策略

指定分片键，就是我们根据什么字段来进行分区

spring.shardingsphere.sharding.tables.product_order.database-strategy.inline.sharding-column=user_id

分片算法，根据分片键路由到哪一个库

spring.shardingsphere.sharding.tables.product_order.database-strategy.inline.algorithm-expression=ds$->{user_id % 2 }

②精准分片策略

指定分片键

spring.shardingsphere.sharding.tables.product_order.database-strategy.standard..sharding-column=user_id

分片算法，注意这里分片算法，是由我们在java中类中实现的

spring.shardingsphere.sharding.tables.product_order.database-strategy.standard.precise-algorithm-class-name=com.zwt.strategy.CustomDBPreciseShardingAlgorithm

com.zwt.strategy.CustomDBPreciseShardingAlgorithm这个类中就实现了分片算法

public class CustomDBPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Long> {


    @Override
    public String doSharding(Collection<String> dataSourceNames, PreciseShardingValue<Long> preciseShardingValue) {

        for(String datasourceName : dataSourceNames){
            String value = preciseShardingValue.getValue() % dataSourceNames.size() + "";
            //ds0、ds1
            if(datasourceName.endsWith(value)){
                return  datasourceName;
            }
        }
        return null;
    }
}

这个方法重写了PreciseShardingAlgorithm中的dosharding方法，指定分片算法

③hint分片策略

简而言之，分片键是在代码中指定的，分片算法和精准分片策略一样

指定分片键

@Test
    public void testHint() {
        // 清除掉历史的规则
        HintManager.clear();
        //Hint分片策略必须要使用 HintManager工具类
        HintManager hintManager = HintManager.getInstance();
        // 设置库的分片健,value用于库分片取模， 读0库
        hintManager.addDatabaseShardingValue("product_order",0L);

        // 设置表的分片健,value用于表分片取模，读1表
        //hintManager.addTableShardingValue("product_order", 7L);
        hintManager.addTableShardingValue("product_order", 7L);

        // 如果在读写分离数据库中，Hint 可以强制读主库（主从复制存在一定延时，但在业务场景中，可能更需要保证数据的实时性）
        //hintManager.setMasterRouteOnly();

        //对应的value只做查询，不做sql解析
        productOrderMapper.selectList(new QueryWrapper<ProductOrderDO>().eq("id", 66L));
    }

分片算法

spring.shardingsphere.sharding.tables.product_order.database-strategy.hint.algorithm-class-name=com.zwt.strategy.CustomDBHintShardingAlgorithm

public class CustomDBHintShardingAlgorithm implements HintShardingAlgorithm<Long> {
    /**
     *
     * @param dataSourceNames 数据源集合
     *                      在分库时值为所有分片库的集合 databaseNames
     *                      分表时为对应分片库中所有分片表的集合 tablesNames
     *
     * @param hintShardingValue  分片属性，包括
     *                                  logicTableName 为逻辑表，
     *                                  columnName 分片健（字段），hit策略此处为空 ""
     *
     *                                  value 【之前】都是 从 SQL 中解析出的分片健的值,用于取模判断
     *                                   HintShardingAlgorithm不再从SQL 解析中获取值，而是直接通过
     *                                   hintManager.addTableShardingValue("product_order", 1)参数进行指定
     * @return
     */
    @Override
    public Collection<String> doSharding(Collection<String> dataSourceNames, HintShardingValue<Long> hintShardingValue) {
        Collection<String> result = new ArrayList<>();
        for (String tableName : dataSourceNames) {

            for (Long shardingValue : hintShardingValue.getValues()) {

                if (tableName.endsWith(String.valueOf(shardingValue % dataSourceNames.size()))) {
                    result.add(tableName);
                }
            }

        }
        return result;
    }
}

ok，三种分片策略到此结束了，希望能帮助到大家

如果需要项目实战代码的，可以私聊我