最近有个新项目 ,配置了shardingsphere,实现了水平拆分的业务场景。在此总结一下。
shardingsphere是一个分表分库整合工具,它只帮你完成在分表分库之后的数据整理汇总等工作。
可以在项目初期数据库中没有数据时使用,或者在后期手动分库分表完成后使用,但是不能把已有的数据库进行分表分库。
一、基本概念
shardingsphere:主要用于分库分表的业务场景,是一个分布式的数据库中间件。
主要用它解决数据量过大导致单个数据库服务器不够用的问题。
水平拆分:主要是根据分片算法将一个库/表拆分成多个库/表。
例如,数据库1中有user表与order表,数据库2中也建一个user表与order表,按照一定的规则将数据分别存入数据库1与数据库2,取数据时也按照同样的规则即可。(数据库1与数据库2一般在不同的服务器上,才能防止数据过大时一台服务器不够用)
垂直拆分:垂直切分其实就是分类存储,大部分都是按业务类型进行分类。相同的类型存储在相同的库上,不同的类型存储在不同的库上。
例如,数据库1中只放user表,数据库2中只放order表,当存取user时,只访问数据库1;存取order时,只访问数据库2。
二、原理浅谈
只要引入shardingsphere的jar包,配置好信息,shardingsphere就可以让存取数据库的操作实现分库分表了。
对于垂直拆分的情况,可以在配置文件中配置好哪张表在哪个数据库中;
对于水平拆分的情况,由于同一个表名在多个库中存在,所以配置方法不同,要在配置类中编写选择不同库的算法。
当执行sql增删改查时,它会根据配置信息、配置好的算法、以及相关参数(例如id等),自动匹配到对应数据库中的表进行操作。
shardingsphere的执行步骤如下:
1.sql解析(找到需要修改的地方,例如数据库表名等)
2.sql改写(改为对应的数据库表名等)
3.sql路由(选择对应的数据库服务器)
4.sql执行
5.结果归并
详细原理可以看这个(个人感觉写的很好):
https://www.jianshu.com/p/a019b0700ea3
三、SpringBoot整合shardingsphere实现水平拆分
1.在pom.xml中引入jar包:
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.0.0-RC1</version>
</dependency>
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-namespace</artifactId>
<version>4.0.0-RC1</version>
</dependency>
2.在application.yml中配置(只是个样例):
shardingsphere:
datasource:
names: ds0,ds1
ds0:
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/jdbc
username: root
password: root
ds1:
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://128.0.0.2:3306/jdbc
username: root
password: root
sharding:
default-data-source-name: ds0
tables:
user_table:
actual-data-nodes: ds$->{0..1}.user_table
database-strategy:
standard:
sharding-column: user_code
precise-algorithm-class-name: com.xxx.config.DatabasePreciseShardingAlgorithm
key-generator:
column: id
type: SNOWFLAKE
●首先配置了ds0与ds1两个数据源,链接不同的数据库服务器。
● actual-data-nodes: ds$->{0..1}.user_table的意思是,链接ds0中的user_table与链接ds1中的user_table要分库分表。(ds0.user_table与ds1.user_table)
●sharding-column: user_code与precise-algorithm-class-name: com.xxx.config.DatabasePreciseShardingAlgorithm的意思是,分库分表的算法根据user_table中的列名user_code,具体的算法类是DatabasePreciseShardingAlgorithm。
●column: id与type: SNOWFLAKE的意思是,user_table表中的主键是id,主键自增算法是SNOWFLAKE。
3.在com.xxx.config包下创建DatabasePreciseShardingAlgorithm.java(对应配置信息中的),编写算法信息(样例):
public class DatabasePreciseShardingAlgorithm implements PreciseShardingAlgorithm<String> {
private final Logger log = LoggerFactory.getLogger(DatabasePreciseShardingAlgorithm.class);
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<String> shardingValue) {
String curValue = shardingValue.getValue();
log.info("Sharding Column : {}", curValue);
String curBase = "ds" + curValue.hashCode() % 2;
log.info("Sharding database : {}", curBase);
return curBase;
}
}
●第一个log中打印的curValue即是user_code列对应的具体的值。(配置文件中配置的)
●第二个log中打印的curBase即是要选择的数据源的信息,ds0或ds1,根据不同的user_code的值选择不同的数据源,对不同的数据库服务器进行存取操作,达到分库分表的效果。
四、shardingsphere实现垂直拆分
可以看这个(个人感觉写的很好):