【Spring】Spring如何实现多数据源读写分离？这是我看过最详细的一篇！！

2401_84412069

于 2024-04-20 00:02:40 发布

阅读量963

点赞数 10

分类专栏：程序员文章标签： spring java 后端

本文链接：https://blog.csdn.net/2401_84412069/article/details/137981190

版权

程序员专栏收录该内容

94 篇文章 0 订阅

订阅专栏

<bean id=“slave01DataSource” class=“com.jolbox.bonecp.BoneCPDataSource”

destroy-method=“close”>

定义DataSource

配置事务管理以及动态切换数据源切面

定义事务管理器

<bean id=“transactionManager”

class=“org.springframework.jdbc.datasource.DataSourceTransactionManager”>

定义事务策略

<tx:advice id=“txAdvice” transaction-manager=“transactionManager”>

tx:attributes

<tx:method name=“query*” read-only=“true” />

<tx:method name=“find*” read-only=“true” />

<tx:method name=“get*” read-only=“true” />

<tx:method name=“save*” propagation=“REQUIRED” />

<tx:method name=“update*” propagation=“REQUIRED” />

<tx:method name=“delete*” propagation=“REQUIRED” />

<tx:method name=“*” />

</tx:attributes>

</tx:advice>

定义切面

aop:config

<aop:pointcut id=“txPointcut” expression=“execution(* xx.xxx.xxxxxxx.service..(…))” />

<aop:advisor advice-ref=“txAdvice” pointcut-ref=“txPointcut”/>

<aop:aspect ref=“dataSourceAspect” order=“-9999”>

<aop:before method=“before” pointcut-ref=“txPointcut” />

</aop:aspect>

</aop:config>

改进切面实现，使用事务策略规则匹配

之前的实现我们是将通过方法名匹配，而不是使用事务策略中的定义，我们使用事务管理策略中的规则匹配。

改进后的配置

改进后的实现

import java.lang.reflect.Field;

import java.util.ArrayList;

import java.util.List;

import java.util.Map;

import org.apache.commons.lang3.StringUtils;

import org.aspectj.lang.JoinPoint;

import org.springframework.transaction.interceptor.NameMatchTransactionAttributeSource;

import org.springframework.transaction.interceptor.TransactionAttribute;

import org.springframework.transaction.interceptor.TransactionAttributeSource;

import org.springframework.transaction.interceptor.TransactionInterceptor;

import org.springframework.util.PatternMatchUtils;

import org.springframework.util.ReflectionUtils;

/**

定义数据源的AOP切面，该类控制了使用Master还是Slave。
如果事务管理中配置了事务策略，则采用配置的事务策略中的标记了ReadOnly的方法是用Slave，其它使用Master。
如果没有配置事务管理的策略，则采用方法名匹配的原则，以query、find、get开头方法用Slave，其它用Master。
@author binghe

public class DataSourceAspect {

private List slaveMethodPattern = new ArrayList();

private static final String[] defaultSlaveMethodStart = new String[]{ “query”, “find”, “get” };

private String[] slaveMethodStart;

/**

读取事务管理中的策略
@param txAdvice
@throws Exception

@SuppressWarnings(“unchecked”)

public void setTxAdvice(TransactionInterceptor txAdvice) throws Exception {

if (txAdvice == null) {

// 没有配置事务管理策略

return;

}

//从txAdvice获取到策略配置信息

TransactionAttributeSource transactionAttributeSource = txAdvice.getTransactionAttributeSource();

if (!(transactionAttributeSource instanceof NameMatchTransactionAttributeSource)) {

return;

}

//使用反射技术获取到NameMatchTransactionAttributeSource对象中的nameMap属性值

NameMatchTransactionAttributeSource matchTransactionAttributeSource = (NameMatchTransactionAttributeSource) transactionAttributeSource;

Field nameMapField = ReflectionUtils.findField(NameMatchTransactionAttributeSource.class, “nameMap”);

nameMapField.setAccessible(true); //设置该字段可访问

//获取nameMap的值

Map<String, TransactionAttribute> map = (Map<String, TransactionAttribute>) nameMapField.get(matchTransactionAttributeSource);

//遍历nameMap

for (Map.Entry<String, TransactionAttribute> entry : map.entrySet()) {

if (!entry.getValue().isReadOnly()) {//判断之后定义了ReadOnly的策略才加入到slaveMethodPattern

continue;

}

slaveMethodPattern.add(entry.getKey());

}

/**

在进入Service方法之前执行
@param point 切面对象

public void before(JoinPoint point) {

// 获取到当前执行的方法名

String methodName = point.getSignature().getName();

boolean isSlave = false;

if (slaveMethodPattern.isEmpty()) {

// 当前Spring容器中没有配置事务策略，采用方法名匹配方式

isSlave = isSlave(methodName);

} else {

// 使用策略规则匹配

for (String mappedName : slaveMethodPattern) {

if (isMatch(methodName, mappedName)) {

isSlave = true;

break;

}

if (isSlave) {

// 标记为读库

DynamicDataSourceHolder.markSlave();

} else {

// 标记为写库

DynamicDataSourceHolder.markMaster();

}

/**

判断是否为读库
@param methodName
@return

private Boolean isSlave(String methodName) {

// 方法名以query、find、get开头的方法名走从库

return StringUtils.startsWithAny(methodName, getSlaveMethodStart());

}

/**

通配符匹配
Return if the given method name matches the mapped name.
The default implementation checks for “xxx*”, “*xxx” and “xxx” matches, as well as direct
equality. Can be overridden in subclasses.
@param methodName the method name of the class
@param mappedName the name in the descriptor
@return if the names match
@see org.springframework.util.PatternMatchUtils#simpleMatch(String, String)

protected boolean isMatch(String methodName, String mappedName) {

return PatternMatchUtils.simpleMatch(mappedName, methodName);

}

/**

用户指定slave的方法名前缀
@param slaveMethodStart

public void setSlaveMethodStart(String[] slaveMethodStart) {

this.slaveMethodStart = slaveMethodStart;

}

public String[] getSlaveMethodStart() {

if(this.slaveMethodStart == null){

// 没有指定，使用默认

return defaultSlaveMethodStart;

}

return slaveMethodStart;

}

一主多从的实现

很多实际使用场景下都是采用“一主多从”的架构的，所有我们现在对这种架构做支持，目前只需要修改DynamicDataSource即可。

实现

import java.lang.reflect.Field;

import java.util.ArrayList;

import java.util.List;

import java.util.Map;

import java.util.concurrent.atomic.AtomicInteger;

import javax.sql.DataSource;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

import org.springframework.util.ReflectionUtils;

/**

定义动态数据源，实现通过集成Spring提供的AbstractRoutingDataSource，只需要实现determineCurrentLookupKey方法即可
由于DynamicDataSource是单例的，线程不安全的，所以采用ThreadLocal保证线程安全，由DynamicDataSourceHolder完成。
@author binghe

public class DynamicDataSource extends AbstractRoutingDataSource {

private static final Logger LOGGER = LoggerFactory.getLogger(DynamicDataSource.class);

private Integer slaveCount;

// 轮询计数,初始为-1,AtomicInteger是线程安全的

private AtomicInteger counter = new AtomicInteger(-1);

// 记录读库的key

private List slaveDataSources = new ArrayList(0);

@Override

protected Object determineCurrentLookupKey() {

// 使用DynamicDataSourceHolder保证线程安全，并且得到当前线程中的数据源key

if (DynamicDataSourceHolder.isMaster()) {

Object key = DynamicDataSourceHolder.getDataSourceKey();

if (LOGGER.isDebugEnabled()) {

LOGGER.debug("当前DataSource的key为: " + key);

}

return key;

}

Object key = getSlaveKey();

if (LOGGER.isDebugEnabled()) {

LOGGER.debug("当前DataSource的key为: " + key);

}

return key;

}

@SuppressWarnings(“unchecked”)

@Override

public void afterPropertiesSet() {

super.afterPropertiesSet();

// 由于父类的resolvedDataSources属性是私有的子类获取不到，需要使用反射获取

Field field = ReflectionUtils.findField(AbstractRoutingDataSource.class, “resolvedDataSources”);

field.setAccessible(true); // 设置可访问

try {

Map<Object, DataSource> resolvedDataSources = (Map<Object, DataSource>) field.get(this);

// 读库的数据量等于数据源总数减去写库的数量

this.slaveCount = resolvedDataSources.size() - 1;

for (Map.Entry<Object, DataSource> entry : resolvedDataSources.entrySet()) {

if (DynamicDataSourceHolder.MASTER.equals(entry.getKey())) {

continue;

}

slaveDataSources.add(entry.getKey());

}

} catch (Exception e) {

LOGGER.error("afterPropertiesSet error! ", e);

}

/**

轮询算法实现
@return

public Object getSlaveKey() {

// 得到的下标为：0、1、2、3……

Integer index = counter.incrementAndGet() % slaveCount;

if (counter.get() > 9999) { // 以免超出Integer范围

counter.set(-1); // 还原

}

return slaveDataSources.get(index);

}

MySQL主从复制

原理

MySQL主(master)从(slave)复制的原理：

master将数据改变记录到二进制日志(binarylog)中,也即是配置文件log-bin指定的文件(这些记录叫做二进制日志事件，binary log events)
slave将master的binary logevents拷贝到它的中继日志(relay log)
slave重做中继日志中的事件,将改变反映它自己的数据(数据重演)

主从配置需要注意的地方

主DB server和从DB server数据库的版本一致
主DB server和从DB server数据库数据一致[ 这里就会可以把主的备份在从上还原，也可以直接将主的数据目录拷贝到从的相应数据目录]
主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一

主库配置（windows，Linux下也类似）

在my.ini修改：

#开启主从复制，主库的配置

log-bin = mysql3306-bin

#指定主库serverid

server-id=101

#指定同步的数据库，如果不指定则同步全部数据库

binlog-do-db=mybatis_1128

执行SQL语句查询状态：

SHOW MASTER STATUS

需要记录下Position值，需要在从库中设置同步起始值。

在主库创建同步用户

#授权用户slave01使用123456密码登录mysql

grant replication slave on . to ‘slave01’@‘127.0.0.1’ identified by ‘123456’;

flush privileges;

从库配置

在my.ini修改

#指定serverid，只要不重复即可，从库也只有这一个配置，其他都在SQL语句中操作

server-id=102

接下来，从从库命令行执行如下SQL语句。

CHANGE MASTER TO

master_host=‘127.0.0.1’,

master_user=‘slave01’,

master_password=‘123456’,

master_port=3306,

master_log_file=‘mysql3306-bin.000006’,

master_log_pos=1120;

#启动slave同步

START SLAVE;

#查看同步状态

SHOW SLAVE STATUS;

重磅福利

关注「 冰河技术 」微信公众号，后台回复 “设计模式” 关键字领取《深入浅出Java 23种设计模式》PDF文档。回复“Java8”关键字领取《Java8新特性教程》PDF文档。回复“限流”关键字获取《亿级流量下的分布式限流解决方案》PDF文档，三本PDF均是由冰河原创并整理的超硬核教程，面试必备！！

好了，今天就聊到这儿吧！别忘了点个赞，给个在看和转发，让更多的人看到，一起学习，一起进步！！

写在最后

如果你觉得冰河写的还不错，请微信搜索并关注「 冰河技术 」微信公众号，跟冰河学习高并发、分布式、微服务、大数据、互联网和云原生技术，「 冰河技术 」微信公众号更新了大量技术专题，每一篇技术文章干货满满！不少读者已经通过阅读「 冰河技术 」微信公众号文章，吊打面试官，成功跳槽到大厂；也有不少读者实现了技术上的飞跃，成为公司的技术骨干！如果你也想像他们一样提升自己的能力，实现技术能力的飞跃，进大厂，升职加薪，那就关注「 冰河技术 」微信公众号吧，每天更新超硬核技术干货，让你对如何提升技术能力不再迷茫！

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后：学习总结——MyBtis知识脑图（纯手绘xmind文档）

学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的MyBtis知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的MyBtis知识脑图原件（包括上方的面试解析xmind文档）

除此之外，前文所提及的Alibaba珍藏版mybatis手写文档以及一本小小的MyBatis源码分析文档——《MyBatis源码分析》等等相关的学习笔记文档，也皆可分享给认可的朋友！

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
K83fvL6o-1713542544498)]

[外链图片转存中…(img-lN4S34UR-1713542544501)]

[外链图片转存中…(img-cL3jxKt8-1713542544503)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后：学习总结——MyBtis知识脑图（纯手绘xmind文档）

[外链图片转存中…(img-57ePc79B-1713542544504)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

2401_84412069

关注

10
点赞
踩
27

收藏

觉得还不错? 一键收藏
0
评论
【Spring】Spring如何实现多数据源读写分离？这是我看过最详细的一篇！！

定义数据源，使用自己实现的数据源设置多个数据源这个key需要和程序中的key一致设置默认的数据源，这里默认走写库配置事务管理以及动态切换数据源切面定义事务管理器定义事务策略定义查询方法都是只读的主库执行操作，事务传播行为定义为默认行为其他方法使用默认事务策略定义AOP切面处理器aop:config定义切面，所有的service的所有方法(…))” />应用事务策略到Service切面将切面应用到自定义的切面处理器上，-9999保证该切面优先级最高执行。
复制链接

扫一扫