ShardingJDBC《二》基础实现篇

最新推荐文章于 2024-02-07 16:55:38 发布

南山脚下小书虫

最新推荐文章于 2024-02-07 16:55:38 发布

阅读量262

点赞数

文章标签：分布式 java sharding

本文链接：https://blog.csdn.net/u012459871/article/details/113814380

版权

源码Github地址

1.实现目标

接上一篇的描述，预计实现批量插入200条用户数据，每个用户都有2个收货地址。将200条数据的插入设计拆分为2个库，每个库4张表，则每一个分片存储25条用户数据、50条收货地址数据，如下图：

2.表结构设计

2.1.基础配置表TB_CONFIG

字段名	数据类型	默认值	可为空	备注
id	int(11)	无	no	主键
config_key	varchar(50)	无	no	配置key，唯一索引
config_value	varchar(255)	无	no	配置值

2.2.用户表TB_USER

字段名	数据类型	默认值	可为空	备注
id	int(11)	无	no	主键
username	varchar(50)	无	no	用户登录名，唯一索引
password	varchar(64)	无	no	用户登录密码，加密存储
email	varchar(50)	无	yes	个人邮箱
create_time	datetime		no	创建时间
last_update_time	datetime		no	最近修改时间

2.3.收货地址表TB_ADDRESS

字段名	数据类型	默认值	可为空	备注
id	int(11)	无	no	主键
user_id	int(11)	无	no	外键tb_user表
address	varchar(1000)	无	no	详细收货地址
phone	varchar(20)	无	yes	联系电话
create_time	datetime		no	创建时间
last_update_time	datetime		no	最近修改时间

3.分库分表实现

3.1.项目实现使用组件

开发工具：STS

开发语言：SpringBoot 2.3.3.RELEASE

开发组件：MySQL 5.7、JPA、ShardingSphere 4.0.1、Redis

3.2.项目结构

3.3.分表分库核心部分

（1）、配置指定连接的数据库别名列表

# basic为基础库别名，db0、db1分别对应两个业务库的别名
spring.shardingsphere.datasource.names=basic,db0,db1

（2）、基础数据库连接信息

spring.shardingsphere.datasource.basic.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.basic.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.basic.url=jdbc:mysql://localhost:3306/srd_study_basic?serverTimezone=Asia/Shanghai&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.basic.username=root
spring.shardingsphere.datasource.basic.password=******
spring.shardingsphere.datasource.basic.max-active=16

(3)、业务库连接信息

# 业务库1连接信息
spring.shardingsphere.datasource.db0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.db0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.db0.url=jdbc:mysql://localhost:3306/srd_study_db0?serverTimezone=Asia/Shanghai&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.db0.username=root
spring.shardingsphere.datasource.db0.password=******
spring.shardingsphere.datasource.db0.ax-active=16

# 业务库2连接信息
spring.shardingsphere.datasource.db1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.db1.url=jdbc:mysql://localhost:3306/srd_study_db1?serverTimezone=Asia/Shanghai&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.db1.username=root
spring.shardingsphere.datasource.db1.password=******
spring.shardingsphere.datasource.db1.ax-active=16

（4）、配置物理表库/表的取值范围

spring.shardingsphere.sharding.tables.tb_userinfo.actual-data-nodes=db$->{0..1}.tb_userinfo_$->{0..3}
spring.shardingsphere.sharding.tables.tb_address.actual-data-nodes=db$->{0..1}.tb_address_$->{0..3}

（5）、业务库分库分表配置

# 用户表配置
spring.shardingsphere.sharding.tables.tb_userinfo.database-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.tb_userinfo.database-strategy.inline.algorithm-expression=db$->{id % 8 > 3 ? 1 : 0}
spring.shardingsphere.sharding.tables.tb_userinfo.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.tb_userinfo.table-strategy.inline.algorithm-expression=tb_userinfo_$->{id % 4}

# 收货地址表配置（指定以外键的user_id作为分表字段，以便于同一关联的用户->收货地值会在同一个库中，尽可能避免分布式事务的产生）
spring.shardingsphere.sharding.tables.tb_address.database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.tb_address.database-strategy.inline.algorithm-expression=db$->{user_id % 8 > 3 ? 1 : 0}
spring.shardingsphere.sharding.tables.tb_address.table-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.tb_address.table-strategy.inline.algorithm-expression=tb_address_$->{user_id % 4}

（6）、专库专表配置

spring.shardingsphere.sharding.tables.tb_shard_group.actual-data-nodes=basic.tb_config

注：SpringSphere分库分表使用行表达式进行库/表序号配置，具体请参考：https://shardingsphere.apache.org/document/legacy/3.x/document/cn/features/sharding/other-features/inline-expression/

4.效果演示

4.1.初始数据库及表结构

4.2.单测后效果

（1）、编写单元测试，依次插入basic表的10条tb_config数据；200条tb_userinfo、400条tb_address数据，看是否数据是否正常进行分库分表；单元测试代码如下：

package com.xiudoua.micro.study;

import java.util.ArrayList;
import java.util.List;

import org.junit.FixMethodOrder;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.junit.runners.MethodSorters;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import com.xiudoua.micro.study.model.AddressVO;
import com.xiudoua.micro.study.model.ConfigVO;
import com.xiudoua.micro.study.model.UserinfoVO;
import com.xiudoua.micro.study.service.IAddressService;
import com.xiudoua.micro.study.service.IConfigService;
import com.xiudoua.micro.study.service.IUserinfoService;

/**
 * @desc
 * @author JustFresh
 * @time 2021年2月19日 下午1:53:41
 */
@RunWith(SpringRunner.class)
@SpringBootTest(classes = InitApp.class)
@FixMethodOrder(MethodSorters.NAME_ASCENDING)
public class ShardingTest {
	
	@Autowired
	private IAddressService addressService;
	
	@Autowired
	private IUserinfoService userinfoService;
	
	@Autowired
	private IConfigService configService;
	
	@Test
	public void test1BatchConfig() {
		List<ConfigVO> configList = new ArrayList<>();
		for(int i=1;i<11;i++) {
			ConfigVO vo = new ConfigVO();
			vo.setId(i + 0L);
			vo.setKey("key" + i);
			vo.setValue("value" + i);
			configList.add(vo);
		}
		configService.batchSave(configList);
	}

	@Test
	public void test2BatchSaveUser() {
		List<UserinfoVO> userinfoList = new ArrayList<>();
		for(int i=0;i<200;i++) {
			UserinfoVO userinfo = new UserinfoVO("user" + i,"**" + i + "**","test" + i + "@qq.com");
			Long userId = i + 1L;
			userinfo.setId(userId);
			userinfoList.add(userinfo);
		}
		userinfoService.batchSave(userinfoList);
	}

	@Test
	public void test3BatchSaveAddress() {
		List<AddressVO> addressList = new ArrayList<>();
		for(int i=0;i<200;i++) {
			UserinfoVO userinfo = new UserinfoVO();
			Long userId = i + 1L;
			userinfo.setId(userId);
			for(int j=0;j<2;j++) {
				AddressVO address = new AddressVO();
				address.setId(userId * 2 - j);
				address.setAddress("Address_" + (i + 1) + "_" + (j + 1));
				address.setPhone("155****9784");
				address.setUserinfo(userinfo);
				addressList.add(address);
			}
		}
		addressService.batchSave(addressList);
	}
}

（2）、执行后结果分别如下：