多数据源情况下事务失效分析

已于 2023-06-28 15:44:46 修改
阅读量2.7k 收藏 10
点赞数 1
文章标签： 数据库 java mybatis spring
于 2023-06-28 15:04:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014233972/article/details/131437145
版权

1.失效基本原因

1.1没有配置事务管理器

在多数据源的情况下，需要为每个数据源，显式配置事务管理器，如下：

@Bean
public PlatformTransactionManager aDataSourceTransactionManager(@Qualifier("aDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}
@Bean
public PlatformTransactionManager bDataSourceTransactionManager(@Qualifier("bDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}

1.2事务管理器名称相同

配置了事务管理器，但是 bean 名称相同，导致只有一个数据源的事务生效。这是因为 spring bean 名称相同时，只能保留一个bean，如下：

// bean 名称都是 dataSourceTransactionManager，spring 只会保留一个
@Bean
public PlatformTransactionManager dataSourceTransactionManager(@Qualifier("aDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}
@Bean
public PlatformTransactionManager dataSourceTransactionManager(@Qualifier("bDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}

1.3Transactional 注解未指定事务管理器

Transactional 注解没有指明哪一个事务管理器，或没有配置默认的事务管理器。这种情况下，使用注解会报错，spring 不知道要用哪个事务管理器开启事务，如下：

@Transactional(rollbackFor = {Exception.class}) // 报错，未指明事务管理器
public void add(Object request) {
    // do something...
}

解决方法：

  1. 设置事务管理器：
@Transactional(value="aDataSourceTransactionManager", rollbackFor = {Exception.class}) 
// 使用 aDataSourceTransactionManager 事务管理器，对 aDataSource 的资源开启事务
public void add(Object request) {
    // do something...
}
  1. 配置默认事务管理器，使用时则可以不需要指定具体的事务管理器

配置默认事务管理器后，bDataSource 的事务还是需要显式指定，否则使用 aDataSource 的事务，对 b 来说依然是事务失效的

@Bean
@Primary // 默认使用 该事务处理器
public PlatformTransactionManager aDataSourceTransactionManager(@Qualifier("aDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}
@Bean
public PlatformTransactionManager bDataSourceTransactionManager(@Qualifier("bDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}

1.4同一个方法内使用两个数据源的操作

方法如下：

@Transactional(value="aDataSourceTransactionManager", rollbackFor = {Exception.class}) 
public void operateA(){
    // aDataSource operate...
    // bDataSource operate...
}

此种情况，只有 aDataSource 的操作是加了事务的，如果需要 bDataSource 也在事务中，则需要根据事务传播，开启一个新的事务

@Transactional(value="aDataSourceTransactionManager", rollbackFor = {Exception.class}) 
public void operateA(){
    // aDataSource operate...
    operateA();
}

// 通过事务传播，开启一个新的事务
// 注意，要创建新的类去操作，否则事务依然是失效的（同类当中的方法调用不走 aop 代理）
@Transactional(value="bDataSourceTransactionManager", rollbackFor = {Exception.class}, propagation= Propagation.REQUIRES_NEW) 
public void operateA(){
    // bDataSource operate...
}

2.基于 Mybatis-plus 多数据源方案

基础配置参考官网：https://www.kancloud.cn/tracy5546/dynamic-datasource/2264611
其他与单数据源 myabtis 配置相同

3.Mybatis-plus 多数据源方案遇到的实际问题

3.1项目背景

在使用 mybatis-plus 的项目 A 中，由于各种原因，引用项目 B 和 C 的子项目（包含 mapper 和 基础service），B和C 的子项目中，包含了他们各自项目的数据源信息，因此，A 项目中包含多个数据源。结构如下
在这里插入图片描述

项目 B和C 的配置大致如下：

B 项目Mybatis plus 配置

@Slf4j
@Configuration("bMybatisPlusConfig")
@MapperScan(
        basePackages = "com.test.b.data.dao",
        sqlSessionTemplateRef = "bSqlSessionTemplate")
public class MybatisPlusConfig {

    @Bean("bDataSource")
    public DataSource dataSource() throws Exception {
        // 忽略创建配置
        return createDataSource();
    }
    
    @Bean("bSqlSessionFactory")
    public SqlSessionFactory sqlSessionFactory(@Qualifier("bDataSource") DataSource dataSource) throws Exception {
        MybatisConfiguration configuration = new MybatisConfiguration();
        configuration.setMapUnderscoreToCamelCase(false); // 数据库与bean字段名一致
        configuration.setLocalCacheScope(LocalCacheScope.STATEMENT); // 关闭一级缓存
        configuration.setCacheEnabled(false); // 关闭二级缓存
        configuration.setLogImpl(StdOutImpl.class);


        MybatisSqlSessionFactoryBean factoryBean = new MybatisSqlSessionFactoryBean();
        factoryBean.setConfiguration(configuration);
        factoryBean.setDataSource(dataSource);
        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        factoryBean.setMapperLocations(resolver.getResources("classpath*:b-mapper/**Mapper.xml"));
        factoryBean.setTypeAliasesPackage("com.test.b.data.dao.model");

        //mybatis 分页插件
        Interceptor[] plugins = {mybatisPlusInterceptor()};
        factoryBean.setPlugins(plugins);
        return factoryBean.getObject();
    }

    @Bean("bSqlSessionTemplate")
    public SqlSessionTemplate sqlSessionTemplate(@Qualifier("bSqlSessionFactory") SqlSessionFactory sqlSessionFactory) throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }

    @Bean
    public DataSourceTransactionManager bDataSourceTransactionManager(@Qualifier("bDataSource") DataSource dataSource) {
        return new DataSourceTransactionManager(dataSource);
    }
}

C 项目Mybatis plus 配置

与 B 项目相同，仅名称配置变化

@Slf4j
@Configuration("cMybatisPlusConfig")
@MapperScan(
        basePackages = "com.test.c.data.dao",
        sqlSessionTemplateRef = "cSqlSessionTemplate")
public class MybatisPlusConfig {

    @Bean("cDataSource")
    public DataSource dataSource() throws Exception {
        // 忽略创建配置
        return createDataSource();
    }
    
    @Bean("cSqlSessionFactory")
    public SqlSessionFactory sqlSessionFactory(@Qualifier("cDataSource") DataSource dataSource) throws Exception {
        MybatisConfiguration configuration = new MybatisConfiguration();
        configuration.setMapUnderscoreToCamelCase(false); // 数据库与bean字段名一致
        configuration.setLocalCacheScope(LocalCacheScope.STATEMENT); // 关闭一级缓存
        configuration.setCacheEnabled(false); // 关闭二级缓存
        configuration.setLogImpl(StdOutImpl.class);


        MybatisSqlSessionFactoryBean factoryBean = new MybatisSqlSessionFactoryBean();
        factoryBean.setConfiguration(configuration);
        factoryBean.setDataSource(dataSource);
        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        factoryBean.setMapperLocations(resolver.getResources("classpath*:c-mapper/**Mapper.xml"));
        factoryBean.setTypeAliasesPackage("com.test.c.data.dao.model");

        //mybatis 分页插件
        Interceptor[] plugins = {mybatisPlusInterceptor()};
        factoryBean.setPlugins(plugins);
        return factoryBean.getObject();
    }

    @Bean("cSqlSessionTemplate")
    public SqlSessionTemplate sqlSessionTemplate(@Qualifier("cSqlSessionFactory") SqlSessionFactory sqlSessionFactory) throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }

    @Bean
    public DataSourceTransactionManager cDataSourceTransactionManager(@Qualifier("cDataSource") DataSource dataSource) {
        return new DataSourceTransactionManager(dataSource);
    }
}

3.2多数据源及Mybatis-plus 引发的问题

如果是正常在项目中使用事务 @Transactional注解，配置对应的事务管理器，则事务可以正常执行。
但是当我们使用了 Mybatis-plus 包中的 ServiceImpl 时，则可能会发生一些问题。
mybatis-plus SeviceImpl 部分方法

public class ServiceImpl<M extends BaseMapper<T>, T> implements IService<T> {
    @Transactional(rollbackFor = Exception.class)
    @Override
    public boolean saveBatch(Collection<T> entityList, int batchSize) {
        String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);
        return executeBatch(entityList, batchSize, (sqlSession, entity) -> sqlSession.insert(sqlStatement, entity));
    }
    
    .....
}

可以看到，SeviceImpl 的部分方法是加了 @Transactional注解的，但是他并没有指定事务管理器。
在多数据源，配置多个事务管理器的的情况下，不指定具体的事务管理器，根据我们第一节的描述，则会发生报错。由于我们正常情况下无法直接修改mybatis-plus 的源码，因此在此种情况下，我们可以通过如下方法解决：

  1. 配置默认事务管理器
    1. 优点：可以不指定事务管理器，也能加入到事务中
    2. 缺点：只有默认数据源的事务才生效，非默认数据源的依然是失效状态
  2. 重写 saveBatch 方法，直接指定事务管理器
    1. 优点：简单直接
    2. 缺点：工作量大，每个添加了@Transactional注解的地方都需要重写，后续添加新的ServiceImpl子类也需要重写
  3. 不调用添加@Transactional注解的方法
    1. 缺点：增加很多轮子代码，后续使用不太方便
  4. 使用 mybatis-plus 官方提供的动态数据源方案
    1. 优点：只需要添加一个注解，即可完成数据源事务的切换
    2. 缺点：每个用到事务操作或数据库操作的类上，都需要增加该注解（主要是 mapper 和 ServiceImpl 子类）

3.3动态数据源配置

因为项目依赖问题，不方便在 B和C 项目中做多数据源管理，也不方便做配置变更。
因此，让项目B和C 数据源模块 依赖 dynamic-datasource-spring-boot-starter 包，然后在对应 mapper 和 service 上加 @DS多数据源注解，不影响当前项目使用，但可以帮助 项目A 做多数据源处理。

A项目 Mybatis plus配置

@Configuration
@Import(DynamicDataSourceAutoConfiguration.class)
public class MybatisDataSourceConfig implements InitializingBean {

    @Autowired
    private ApplicationContext context;

    @Bean
    public DataSource dataSource(ApplicationContext context) {
        // 由于项目依赖问题，无法通过原生方式配置动态数据源，这里根据已配置好的数据源，自己生成一个实例
        DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();
        // 配置默认数据源，可以不指定（在没有加 DS 注解的地方会报错）
//        dataSource.setPrimary("xxxDataSource");
        Map<String, DataSource> beans = context.getBeansOfType(DataSource.class);
        for (Map.Entry<String, DataSource> entry : beans.entrySet()) {
            dataSource.addDataSource(entry.getKey(), entry.getValue());
        }
        return dataSource;
    }

    @Bean
    @Primary
    public PlatformTransactionManager primaryTransactionManager(@Qualifier("dataSource") DataSource dataSource) {
        // 配置默认事务管理器，数据源对象为当前动态数据源
        return new DataSourceTransactionManager(dataSource);
    }

    @Override
    public void afterPropertiesSet() throws Exception {
        // 替换依赖的 项目B和C 中 mybatis的 SqlSessionFactory 的数据源
        // 如果不替换为当前配置的动态数据源，则事务会失效
        Map<String, SqlSessionFactory> sessionFactoryMap = context.getBeansOfType(SqlSessionFactory.class);
        DataSource dataSource = context.getBean("dataSource", DataSource.class);
        for (Map.Entry<String, SqlSessionFactory> entry : sessionFactoryMap.entrySet()) {
            SqlSessionFactory sessionFactory = entry.getValue();
            org.apache.ibatis.session.Configuration configuration = sessionFactory.getConfiguration();
            Environment environment = configuration.getEnvironment();
            configuration.setEnvironment(new Environment(environment.getId(), environment.getTransactionFactory(), dataSource));
        }
    }
}

3.4使用方法

配置完成后，我们就可以添加 DS 注解到对应 service 上，正常使用数据源以及事务了

@Service
@Slf4j
// 当前类使用 xxDataSource 数据源
@DS("xxDataSource")
public class xxServiceImpl implements xxService {

    // 使用默认事务管理器即可
    // 根据 DS 注解自动选择对应数据源的事务
    @Transactional(rollbackFor = {Exception.class})
    @Override
    public void add(){
        // operate ....
    }
}

4Mybatis-plus 动态数据源原理分析

4.1数据源

mybatis-plus 动态数据源的实现思路是：在实际使用时，使用动态数据源，而动态数据源则代理路由多个真实数据源。这样在获取连接时，使用方不需要做其他判断，交由动态数据源去判断使用哪个真实数据源。

4.2判断路由

动态数据源如何路由到真实数据源呢？
实际上是通过 DS 注解写的数据源名称判断的。加了 DS 注解的类会被代理，然后 Mybatis-plus 会在 DynamicDataSourceAnnotationInterceptor 类中，将 dsKey 做压栈处理，到后续需要从动态数据源获取连接时，则从栈中取出dsKey，根据 dsKey 路由到真实数据源。

4.3连接上下文

在spring中，事务是如何生效的呢？
原因在于 spring 事务会将连接资源放入TransactionSynchronizationManager.resources 线程上下文中，在开启事务或者数据库操作时，首先会将当前的数据源作为 key 在线程上下文中获取 ConnectionHolder，如果存在则使用 ConnectionHolder 中的连接，这样可以保证一个线程中，使用的是同一个连接，也就保证了事务是生效的。

在我碰到的项目实际问题当中，由于是依赖的子项目，子项目中的 mybatis 的 SqlSessionFactory 使用的数据源是真实数据源，如果在A项目中不修改 SqlSessionFactory 的数据源的话，会导致将真实数据源作为key，获取不到前面事务开启的连接，也就会导致事务失效。

具体源码位置：
Transactional 注解：org.springframework.jdbc.datasource.DataSourceTransactionManager#doBegin
开启事务时会先获取连接
Mybatis：org.mybatis.spring.transaction.SpringManagedTransaction#openConnection
使用 spring的事务管理器时，会调用 DataSourceUtils.getConnection(this.dataSource) 方法，获取连接的同时将连接设置到线程上下文。

月下寒柳
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
不同数据源中事务失效的解决方法
weixin_59755046的博客
01-06 564
不同数据源中事务失效的解决方法
Mybatis源码分析.docx
07-08
在Mybatis中，DataSource可以是各种类型的数据源，如DBCP、C3P0、JNDI等。 执行器原理 Mybatis的执行器原理是基于JDBC的。Mybatis使用JDBC来执行SQL语句，并将结果集封装成Java对象。在Mybatis中，执行器是由...
springboot实现多数据源而且加上事务不会使aop切换数据源失效
04-03
用springboot 集成mybatis多数据源，用aop实现的动态切换，支持事务，不会使aop动态切换失效。注意：此代码不涉及分布式事务，如果需要分布式事务 需要采取其他方案。
@ds实现多数据源切换及解决事务失效问题
qq_35705176的博客
12-13 2065
ds实现多数据源，事务失效解决
mybatis-plus之数据源切换事务失效问题
最新发布
CSDN_LiMingfly的博客
05-13 412
由于业务数据来源不同 需要配置多个数据源来进行数据的查询 编辑等操作 这一切换业务对数据的一致性要求很高那就要保证ACID啦 也就是数据的有效性 要么是成功的 要么是失败的。例如：方法可能继续在现有事务中运行，也可能开启一个新事务，并在自己的事务中运行。一定要明白事务的传播特性，开发中其实常用的就只有REQUIRED和REQUIRES_NEW，大家只要把这两个搞明白，就能应对绝大数的问题。多数据源失效，然后去掉事务发现切换正常 在于这样的切换失去了事务控制的行为。事务的传播行为可以由传播属性指定。
Mybatis 多数据源事务是否生效问题
lmx125254的博客
01-17 4903
我们所有的程序员应该都使用过事务注解 @Transactional ，面试的时候大家或多或少的都能说出来一些东西 比如： 1.事务的隔离级别 2.事务在哪些情况下不生效，比如加在类上，方法上（public,private,protected） 3.事务的配置使用 等等的一系列问题，大部分的小伙伴应该对这些方面也是了如指掌，对答如流了。 ...
【mybatis-plus】自定义多数据源，动态切换数据源事务失效问题
主要从事JAVA开发，目前是CSDN博客Java领域新星创作者、阿里云博客专家、担任公司研发经理、技术负责人等。热爱编程，喜欢在Python、C、C++领域探索。
12-16 5870
背景做了一个和navicat一样的工具，web版工具，然后数据库链接信息都是存在一个主数据库表的里，所以这里涉及到了动态切换数据源，以及一些事务等。今天说下多数据源切换时，事务失效。
spring 多数据源事务不生效问题
xiaoyaozizai1的博客
02-24 868
多数据源事务
Spring Boot项目多数据源事务不生效的问题
千言万语ROOM
10-15 5015
1.问题场景描述 在方法中操作数据库，向表中插入一条数据；然后抛出RuntimeException，发现事务没有回滚，插入的数据依然提交到了数据库中。 2.问题查找及分析过程 2.1 首先查看项目中是否配置了事务 项目中确实做了事务相关的配置： spring.transaction.expression=execution(* xxxxxxx*Impl.*(..)) 那么这个配置是否生效呢？我们在执行insert后面手动抛出一个RuntimeException，看到如下的报错信息，说明异常确实抛
SpringBoot使用多数据源时怎么解决事务不生效问题
05-18 1716
在使用多数据源时，如果不进行特殊处理，可能会出现事务不生效的问题。这是因为 Spring Boot 默认只会为一个数据源创建一个事务管理器，如果要使用多个数据源，就需要为每个数据源创建一个事务管理器，并在需要使用事务的方法或类上指定使用哪个事务管理器。创建多个事务管理器的 Bean，例如。
事务注解放到类上面 下面私有方法有效吗_Spring事务失效的 8 大原因，这次可以吊打面试官了...
weixin_39849127的博客
11-20 1833
今天再来一篇《吊打面试官》系列，这次真的要吊打了，哈哈！(看往期吊打系列请在后台回复：吊打，我会陆续更新……)前几天栈长不是发了一篇文章，里面有一个关于事务失效的问题：用 Spring 的 @Transactional 注解控制事务有哪些不生效的场景？其中有个热心粉丝留言分享了下，我觉得总结得有点经验，给置顶了：以上留言来源微信公众号：Java技术栈，关注一起学Java!但是我觉得还是总结得不够全...
基于MySQL分布式数据库系统同步分析与实现.pdf
08-10
2. **多源复制**：在更复杂的设置中，MySQL支持多源复制，允许一个节点从多个源接收数据，这在分布式环境中提供了更高的灵活性和冗余。多源复制可以提高系统的容错能力，因为即使一个主节点失效，其他节点仍然可以...
主数据管理系统 测试1
08-08
3. **角色设置**：在角色设置的新增功能中，下拉列表未填充数据，可能是数据源未正确连接，或者数据加载逻辑存在问题。需要检查C#代码中的数据绑定部分。 4. **视图管理**：新增视图时，术语名称选择内容为空，可能...
计算机编程常用术语英语词汇汇总.doc
10-05
39. **Dead Lock** - 数据库中两个或更多事务因相互等待资源而无法继续的情况。 40. **Deallocate** - 在某些编程语言中，释放已分配的内存或对象。 41. **Debug** - 查找并修复程序错误的过程。 42. **Debugger*...
实时计算Storm核心技术及其在报文系统中的应用.pdf
10-12
Storm通过Ack机制确保每个数据元被正确处理，即使在网络故障或节点失效的情况下，也能保证数据不丢失。 3. Storm中的高层机制 3.1 事务处理 Storm支持事务处理，保证数据处理的原子性和一致性，尤其适用于金融等...
SpringBoot多数据源切换详解，以及开启事务后数据源切换失败处理
chijiansong的博客
03-24 5959
https://blog.csdn.net/zzhongcy/article/details/103177280/ 最近项目需要指出多数据源，同时支持事务回滚，这里记录一下 1、多数据源方式介绍 主要方式有以下两种： 通过配置多个SqlSessionFactory 来实现多数据源，这么做的话，未免过于笨重，而且无法实现动态添加数据源这个需求 通过 spring AbstractRoutingDataSource 为我们抽象了一个 DynamicDataSource 解决这一问题 2、..
SpringBoot + MybatisPlus 实现多数据源事务
简单，坚持
09-13 7304
本文针对SpringBoot + MybatisPlus的架构，实现了在mapper级切换数据源，在service层指定需要实现事务的数据源的功能。
SpringBoot 配置多数据源后事务@Transactional不生效的问题解决
m0_50163856的博客
05-10 946
配置多数据源后事务@Transactional不生效
Spring Boot 多数据源及事务解决方案
m0_71777195的博客
06-20 3859
3.2.1 定义管理接口通过继承即可实现。为了方便对数据源进行操作，我们定义一个接口，为业务提供操作数据源的统一接口。该接口主要是对数据表中定义的数据源，提供基础管理功能。3.2.2 自定义数据源的实现如下图所示：根据前面的分析，是在容器启动的时候，执行注入数据源对象，完成之后无法对数据源进行修改。则实现接口，可以将数据表中的数据源加载到dataSources。3.2.3 切面处理这一块的处理跟配置文件数据源方案处理方式相同，都是通过AOP技术切换lookup key。
spring boot 多数据源情况下 声明式事务如何确保数据一致性
06-07
在 Spring Boot 多数据源情况下，要确保声明式事务的数据一致性，需要采取以下几个步骤： 1. 配置多个数据源和事务管理器：需要在配置文件中配置多个数据源和对应的事务管理器，同时在@Transactional注解中指定对应的事务管理器。 2. 手动切换数据源：在使用多个数据源的情况下，需要手动切换数据源。可以通过在Service层中使用@Qualifier注解指定要使用的数据源，或者使用@Primary注解指定默认数据源。 3. 事务的传播机制：在多数据源情况下，需要使用事务的传播机制来确保事务的一致性。在调用其他Service层方法的时候，需要使用Propagation.REQUIRED或者Propagation.REQUIRES_NEW等传播机制来保证事务的正确执行。 4. 异常处理：在多数据源情况下，需要对异常进行处理，确保在异常发生时事务可以正确回滚。 综上所述，Spring Boot 多数据源下的声明式事务需要对多个数据源进行配置和管理，并且需要使用事务的传播机制来确保事务的正确执行。同时需要对异常进行处理，确保事务可以正确回滚。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值