SpringBoot整合shardingsphere实现水平拆分

最近有个新项目 ，配置了shardingsphere，实现了水平拆分的业务场景。在此总结一下。

shardingsphere是一个分表分库整合工具，它只帮你完成在分表分库之后的数据整理汇总等工作。

可以在项目初期数据库中没有数据时使用，或者在后期手动分库分表完成后使用，但是不能把已有的数据库进行分表分库。

 

一、基本概念

shardingsphere：主要用于分库分表的业务场景，是一个分布式的数据库中间件。

主要用它解决数据量过大导致单个数据库服务器不够用的问题。

 

水平拆分：主要是根据分片算法将一个库/表拆分成多个库/表。

例如，数据库1中有user表与order表，数据库2中也建一个user表与order表，按照一定的规则将数据分别存入数据库1与数据库2，取数据时也按照同样的规则即可。（数据库1与数据库2一般在不同的服务器上，才能防止数据过大时一台服务器不够用）

 

垂直拆分：垂直切分其实就是分类存储，大部分都是按业务类型进行分类。相同的类型存储在相同的库上，不同的类型存储在不同的库上。

例如，数据库1中只放user表，数据库2中只放order表，当存取user时，只访问数据库1；存取order时，只访问数据库2。

 

二、原理浅谈

只要引入shardingsphere的jar包，配置好信息，shardingsphere就可以让存取数据库的操作实现分库分表了。

对于垂直拆分的情况，可以在配置文件中配置好哪张表在哪个数据库中；

对于水平拆分的情况，由于同一个表名在多个库中存在，所以配置方法不同，要在配置类中编写选择不同库的算法。

当执行sql增删改查时，它会根据配置信息、配置好的算法、以及相关参数（例如id等），自动匹配到对应数据库中的表进行操作。

shardingsphere的执行步骤如下：

1.sql解析（找到需要修改的地方，例如数据库表名等）
2.sql改写（改为对应的数据库表名等）
3.sql路由（选择对应的数据库服务器）
4.sql执行
5.结果归并

详细原理可以看这个（个人感觉写的很好）：

https://www.jianshu.com/p/a019b0700ea3

 

三、SpringBoot整合shardingsphere实现水平拆分

1.在pom.xml中引入jar包：

<dependency>
  <groupId>org.apache.shardingsphere</groupId>
  <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
  <version>4.0.0-RC1</version>
</dependency>
<dependency>
  <groupId>org.apache.shardingsphere</groupId>
  <artifactId>sharding-jdbc-spring-namespace</artifactId>
  <version>4.0.0-RC1</version>
</dependency>

2.在application.yml中配置（只是个样例）：

shardingsphere:
  datasource:
    names: ds0,ds1
    ds0:
      driver-class-name: com.mysql.jdbc.Driver
      url: jdbc:mysql://127.0.0.1:3306/jdbc
      username: root
      password: root
    ds1:
      driver-class-name: com.mysql.jdbc.Driver
      url: jdbc:mysql://128.0.0.2:3306/jdbc
      username: root
      password: root
  sharding:
    default-data-source-name: ds0
    tables:
      user_table:
        actual-data-nodes: ds$->{0..1}.user_table
        database-strategy:
          standard:
            sharding-column: user_code
            precise-algorithm-class-name: com.xxx.config.DatabasePreciseShardingAlgorithm
        key-generator:
          column: id
          type: SNOWFLAKE

●首先配置了ds0与ds1两个数据源，链接不同的数据库服务器。

● actual-data-nodes: ds$->{0..1}.user_table的意思是，链接ds0中的user_table与链接ds1中的user_table要分库分表。（ds0.user_table与ds1.user_table）

●sharding-column: user_code与precise-algorithm-class-name: com.xxx.config.DatabasePreciseShardingAlgorithm的意思是，分库分表的算法根据user_table中的列名user_code，具体的算法类是DatabasePreciseShardingAlgorithm。

●column: id与type: SNOWFLAKE的意思是，user_table表中的主键是id，主键自增算法是SNOWFLAKE。

 

3.在com.xxx.config包下创建DatabasePreciseShardingAlgorithm.java（对应配置信息中的），编写算法信息（样例）：

public class DatabasePreciseShardingAlgorithm implements PreciseShardingAlgorithm<String> {

  private final Logger log = LoggerFactory.getLogger(DatabasePreciseShardingAlgorithm.class);

  @Override
  public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<String> shardingValue) {
    String curValue = shardingValue.getValue();
    log.info("Sharding Column : {}", curValue);
    String curBase = "ds" + curValue.hashCode() % 2;
    log.info("Sharding database : {}", curBase);
    return curBase;
  }
}

●第一个log中打印的curValue即是user_code列对应的具体的值。（配置文件中配置的）

●第二个log中打印的curBase即是要选择的数据源的信息，ds0或ds1，根据不同的user_code的值选择不同的数据源，对不同的数据库服务器进行存取操作，达到分库分表的效果。

 

四、shardingsphere实现垂直拆分

可以看这个（个人感觉写的很好）：

https://www.cnblogs.com/yinjihuan/p/11038051.html