Sharding-JDBC4.0分库分表实战

---

一、分库分表的缘由

    随着数据量的增大，或者一些特殊业务需求，单表的性能已经不能满足系统的要求，虽然可以对代码，sql的查询做一些优化，或者做一些数据预热，热点数据捞到缓存中，但是不能从根本上解决单库单表的性能问题，这些都只能作为一些优化手段，此时就需要我们的分库分表，由原来的单库-单表演变为我们的多库-多表。

常见的拆表：

• 垂直拆分   -将单表中不经常用到的字段，拆到一张附属表中,拆完后，俩张表结构不同
• 水平拆分   -将单表存放的数据，横切分出一半放到另外一张表中，俩表结构相同

如图：

    这只是对于表的拆分，不管垂直拆分还是水平拆分，都是可以在单库内进行的，但是单库或单台机器所提供的性能毕竟是有限的，所以一般在分表之上，又会进行一个分库，多台机器，多个库，每个库中多张表，这样就是整个机器集群在提供数据查询服务，性能大大提高。
 
    最终我们整个db服务就演变成这样：

    说完我们的db集群，再来看我们上图中的分片键和路由规则，当我们做了分库分表之后，对于每一条数据的读写操作，我们应该去哪个库哪张表操作呢？数据的插入好说，我们可以随便插入某个库某张表，但是查询、删除、修改呢？总不能每个库每张表遍历，遍历完才能知道对应的数据在哪个库哪张表吧，这样我们分库分表的意义还何在，所以就有了分片键和路由规则。

分片键：

    举个列子：我们将表分片以后，当执行一条SQL时，通过对字段 order_id 取模的方式来决定，这条数据该在哪个数据库中的哪个表中执行，此时 order_id 字段就是表的分片健，不管是增删改查中哪种操作，都需要携带order_id，我们再通过我们的路由规则计算这条数据应该插入哪个库的哪张表，查询也就不再需要我们遍历所有的数据库，直接定位这条数据在哪个库哪张表，直接去查询，效率大大提升。

路由规则：

    路由规则又可以称之为分片算法，是通过对分片键计算，来得到这条SQL语句应该到哪个库表执行的算法，从执行 SQL 的角度来看，分库分表可以看作是一种路由机制，把 SQL 语句路由到我们期望的数据库或数据表中并获取数据，分片算法可以理解成一种路由规则。

二、分库分表实现

技术选型：

    市面上有很多不错的分库分表的技术框架，当然，当我们对分库分表的实现原理已经熟悉的情况下，也可以手写一个，自己实现分片算法，这里选了俩个市面上常用的开源框架进行对比：mycat和shardingJdbc
mycat：

是一个需要单独部署的第三方组件，对项目代码没有入侵
客户端所有的 jdbc 请求都必须要先交给 mycat ，再由 mycat 转发到具本的真实服务器中
由于jdbc请求都需要经过mycat，经过mycat内部进行分片路由计算再转到mysql，所以有额外的性能消耗
支持事务

shardingJdbc:

作为一个组件，需要在项目中集成,项目开发成本增加
在项目中解析sql，路由到具体的mysql库-表,相比mycat,性能较高
有语言限制，目前只支持Java语言
4.0支持事务

这里我说下我为什么选用shardingJdbc，相比于mycat,shardingJdbc目前只支持Java,同时需要在项目代码中集成，但是他的性能较高，同时在代码中集成，能让我们的开发人员更加清楚分库分表的一个底层实现原理，而且不需要额外部署组件，也不需要担心像mycat宕机的风险，而且shardingJdbc4.0也支持事务，和seata整合也比较简单。

准备工作

1、准备一个springboot工程
2、准备好俩个数据库，每个库中5张订单表

3、导入shardingJdbc相关依赖

		//mybatis-plus和druid等的依赖，这里就不贴出了，读者自己整合
        <!-- sharding-sphere -->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            //最好和此一样版本，4.1.1版本博主测试会报找不到数据源问题，需要重写配置文件
            <version>4.0.0-RC1</version>
        </dependency>

编写配置文件

先编写我们的配置文件，由于考虑到后续还要和nacos,seata整合。此处采用yml写法，后续从nacos上拉去配置文件：application.yml

server:
    port: 4010

spring:
    application:
        name: learn_shardingsphere
    main:
        allow-bean-definition-overriding: true
    shardingsphere:
        datasource:
            default:
                driver-class-name: com.mysql.cj.jdbc.Driver
                password: root
                type: com.alibaba.druid.pool.DruidDataSource
                url: jdbc:mysql://ip:3306/[默认库]?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true
                username: root
            ds1:
                driver-class-name: com.mysql.cj.jdbc.Driver
                jdbc-url: jdbc:mysql://ip:3306/taobao1?serverTimezone=GMT%2B8&useSSL=false
                password: root
                type: com.zaxxer.hikari.HikariDataSource
                username: root
            ds2:
                driver-class-name: com.mysql.cj.jdbc.Driver
                jdbc-url: jdbc:mysql://ip:3306/taobao2?serverTimezone=GMT%2B8&useSSL=false
                password: root
                type: com.zaxxer.hikari.HikariDataSource
                username: root
            names: default,ds1,ds2
        #是否开启SQL显示，默认值: false
        props:
            sql:
                show: true
        sharding:
        	#默认数据源配置，当没有配置分片规则的表将使用此数据源
            default-data-source-name: default
            tables:
            	#逻辑表名
                order:
                	##由数据源名 + 表名组成，以小数点分隔
                    actual-data-nodes: ds1.order_$->{1..5},ds2.order_$->{6..9}
                    database-strategy:
                        standard:
                        	#库路由规则
                            precise-algorithm-class-name: org.example.config.PreciseDatabaseShardingAlgorithm
                            #分片键
                            sharding-column: id
                    table-strategy:
                        standard:
                        	#表路由规则
                            precise-algorithm-class-name: org.example.config.PreciseTableShardingAlgorithm
                            #分片键
                            sharding-column: id
logging:
    level:
        com:
            sharding:
                demo:
                    mapper: DEBUG
#mp配置                    
mybatis-plus:
    configuration:
        auto-mapping-behavior: full
        map-underscore-to-camel-case: true
    mapper-locations: classpath:/mapper/*Mapper.xml

库分片规则实现：
我们这里简单规定，取订单id的个位数，小于5则放在ds1库中，大于5放在ds2库中

public class PreciseDatabaseShardingAlgorithm implements PreciseShardingAlgorithm<Long> {

    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<Long> id) {
        
        // 分片键值
        long value = id.getValue();

        // 库后缀
        String number;
        String str = String.valueOf(value).substring(String.valueOf(value).length() - 1);

        if (Integer.parseInt(str) <= 5) {
            number = "1";
        } else {
            number = "2";
        }

        if (value <= 0) {
            throw new UnsupportedOperationException("preciseShardingValue is null");
        }

        for (String availableTargetName : collection) {
            if (availableTargetName.endsWith(number)) {
                return availableTargetName;
            }
        }
        throw new UnsupportedOperationException();
    }
}

表分片规则实现：
取订单id个位数，拼接表：order{订单id个位数}

public class PreciseTableShardingAlgorithm implements PreciseShardingAlgorithm<Long> {

    @Override
    public String doSharding(Collection<String> collection, PreciseShardingValue<Long> id) {
        // 分片键值
        long value = id.getValue();

        if (value <= 0) {
            throw new UnsupportedOperationException("preciseShardingValue is null");
        }

        // 表后缀
        String str = String.valueOf(value).substring(String.valueOf(value).length() - 1);

        for (String availableTargetName : collection) {
            if (availableTargetName.endsWith(str)) {
                return availableTargetName;
            }
        }
        throw new UnsupportedOperationException();

    }
}

这里再贴出OrderMpper.xml的写法：
实体类，service实现，文章中就不具体贴出了
这里在xml中订单表都是取的逻辑表：order

    <insert id="insert" parameterType="org.example.entity.Order">
        insert into order(id,name,count,description) values(#{id},#{name},#{count},#{description})
    </insert>

    <update id="update" parameterType="org.example.entity.Order">
        update order set
        name=#{name},
        count=#{count},
        description=#{count}
        where id = #{id}
    </update>

    <delete id="delete">
        delete from order where id = #{id}
    </delete>

    <select id="select" resultType="org.example.entity.Order" parameterType="org.example.entity.Order">
        select * from order where id = #{id}
    </select>