记录 Atomikos数据源连接超时和耗尽导致的应用灾难

最新推荐文章于 2023-11-24 15:47:56 发布
最新推荐文章于 2023-11-24 15:47:56 发布
阅读量3.8k 收藏 5
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mazuyu408/article/details/115932882
版权

问题描述

项目使用的网上的springboot封装的框架。项目初期使用一切正常，随着用户量的增加发现应用的响应速递有所下降。这两天系统开始出现间隙性无法访问。追踪日志发现报错

Caused by: com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 60000, active 18, maxActive 200, creating 1, createElapseMillis 120000
	at com.alibaba.druid.pool.DruidDataSource.getConnectionInternal(DruidDataSource.java:1739)
	at com.alibaba.druid.pool.DruidDataSource.getConnectionDirect(DruidDataSource.java:1409)
	at com.alibaba.druid.filter.FilterChainImpl.dataSource_connect(FilterChainImpl.java:5059)
	at com.alibaba.druid.filter.stat.StatFilter.dataSource_getConnection(StatFilter.java:680)
	at com.alibaba.druid.filter.FilterChainImpl.dataSource_connect(FilterChainImpl.java:5055)
	at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1387)
	at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1379)
	at com.alibaba.druid.pool.xa.DruidXADataSource.getXAConnection(DruidXADataSource.java:45)
	at com.atomikos.jdbc.AtomikosXAConnectionFactory.createPooledConnection(AtomikosXAConnectionFactory.java:43)
	... 147 more

发现创建数据连接超时，但是实际连接数并没有到大最大连接数。找了很久发现另外一处错误，AtomikosSQLException：连接数已达到pool的上限，无法再创建新的连接

aused by: org.springframework.jdbc.CannotGetJdbcConnectionException: Failed to obtain JDBC Connection; nested exception is com.atomikos.jdbc.AtomikosSQLException: Failed to grow the connection pool
	at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:81)
	at org.mybatis.spring.transaction.SpringManagedTransaction.openConnection(SpringManagedTransaction.java:82)
	at org.mybatis.spring.transaction.SpringManagedTransaction.getConnection(SpringManagedTransaction.java:68)
	at org.apache.ibatis.executor.BaseExecutor.getConnection(BaseExecutor.java:336)
	at org.apache.ibatis.executor.SimpleExecutor.prepareStatement(SimpleExecutor.java:85)
	at org.apache.ibatis.executor.SimpleExecutor.doQuery(SimpleExecutor.java:62)
	at org.apache.ibatis.executor.BaseExecutor.queryFromDatabase(BaseExecutor.java:324)
	at org.apache.ibatis.executor.BaseExecutor.query(BaseExecutor.java:156)
	at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:109)
	at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:83)
	at sun.reflect.GeneratedMethodAccessor99.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.ibatis.plugin.Plugin.invoke(Plugin.java:63)
	at com.sun.proxy.TProxy105.query(Unknown Source)
	at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:148)
	... 123 more

于是在本地使用jmeter 进行压测50并发发现，本地出现一样的问题。于是在网上找相关的错误信息。找了一堆发现没有什么有用信息。最终在一片文章中找到一样的问题，https://blog.csdn.net/qq_39002724/article/details/106671114  

当使用原生druid时：活跃连接数在并发操作结束后，很快恢复到最小连接数左右
当使用atomikos时：活跃连接数在并发操作结束后，需要等一段时间才能恢复到最小连接数左右
DruidXADataSource的连接归还速度远小于原生druid，导致并发量大的情况下，由于本来占用连接就多，归还速度又慢，最终出现上述问题。
 

参照对应的解决方法，将oracle连接从原先的DruidXADataSource  替换成oracle原生的后，进行压测发现应用正常。

报错之前的代码：

  /**
     * 数据源创建模板
     */
    private static DataSource createDataSource(String dataSourceName, DruidProperties druidProperties) {
        AtomikosDataSourceBean atomikosDataSourceBean = new AtomikosDataSourceBean();
        atomikosDataSourceBean.setXaDataSourceClassName("com.alibaba.druid.pool.xa.DruidXADataSource");
        atomikosDataSourceBean.setUniqueResourceName(dataSourceName);
        atomikosDataSourceBean.setMaxPoolSize(100);
        atomikosDataSourceBean.setBorrowConnectionTimeout(60);
        atomikosDataSourceBean.setXaProperties(druidProperties.createProperties());
        return atomikosDataSourceBean;
    }

修改之后的代码：

 /**
     * 数据源创建模板
     */
    private static DataSource createOracleDataSource(String dataSourceName, DruidProperties druidProperties){
        AtomikosDataSourceBean atomikosDataSourceBean = new AtomikosDataSourceBean();
        atomikosDataSourceBean.setUniqueResourceName(dataSourceName);
        atomikosDataSourceBean.setMaxPoolSize(100);
        atomikosDataSourceBean.setBorrowConnectionTimeout(60);
        atomikosDataSourceBean.setXaProperties(druidProperties.createProperties());
        try {
            OracleXADataSource mysqlXADataSource = new OracleXADataSource();
            mysqlXADataSource.setURL(druidProperties.getUrl());
            mysqlXADataSource.setUser(druidProperties.getUsername());
            mysqlXADataSource.setPassword(druidProperties.getPassword());
            atomikosDataSourceBean.setXaDataSource(mysqlXADataSource);
        }catch (SQLException e){
            e.printStackTrace();
        }
        return atomikosDataSourceBean;
    }

 

猪思马记
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SpringCloud学习笔记024---SpringBoot中使用大部分公用的配置记录
添柴程序猿的专栏
07-27 1280
JAVA技术交流QQ群：170933152  常用应用属性 可以在application.properties / application.yml file中指定各种属性，也可以在命令行开关中指定。本节提供了常见的Spring Boot属性和对使用它们的基础类的引用的列表。 摘自：http://docs.spring.io/spring-boot/docs/current/reference...
Java面试题 -- SpringBoot面试题二(Spring Boot 是微服务中最好的 Java 框架)
weixin_45472939的博客
11-03 1143
问题一 path=”users”, collectionResourceRel=”users” 如何与 Spring Data Rest 一起使用？ @RepositoryRestResource(collectionResourceRel = "users", path = "users") public interface UserRestRepository extends PagingAn...
atomikos 异常报错（java.lang.NoSuchMethodException）
s_156的博客
11-25 596
atomikos 异常报错（java.lang.NoSuchMethodException）   报错信息 java.lang.NoSuchMethodException: com.mysql.cj.conf.PropertySet.getBooleanReadableProperty(java.lang.String) at java.base/java.lang.Class.getM...
springboot 多了8小时_springboot+druid+atomikos 8小时后数据库连接无法使用，多请求几次又可以使用了...
weixin_39797780的博客
02-11 259
我的全部配置，你参考下ymlspring:aop:proxy-target-class: trueauto: truedatasource:type: com.alibaba.druid.pool.xa.DruidXADataSourceatomikos:maxPoolSize: 5minPoolSize: 0openTestQuery: falsedruid:## 连接池配置userdb:## ...
atomikos 事务超时_分布式事务 随手笔记
weixin_39529903的博客
12-03 331
分布式事物​产生背景：在不同的项目中(不同的数据库要保证数据的一致性)，如在A项目或者服务需要调用B服务时，就要注意数据的一致性问题，要么一起更新成功，要么一起回滚！事物特性(acid)原子性(A)所谓的原子性就是说，在整个事务中的所有操作，要么全部完成，要么全部不做，没有中间状态。对于事务在执行中发生错误，所有的操作都会被回滚，整个事务就像从没被执行过一样。一致性(C)事务的执行必须保证系统的一...
atomikos数据源连接超时和耗尽问题
cyh的博客
01-24 3928
问题描述 项目里之前用的是原生druid数据源，没有任何问题。 后来使用了AtomikosDataSourceBean，其中用的DruidXADataSource数据源，java配置如下 @Bean(name = "bdpDatasource") public DataSource bdpDatasource() { DruidXADataSource druidXADataSource = new DruidXADataSource(); druidXADataS
mysql中sqlexception分类_使用mysql的系统中常见sql异常
weixin_28864057的博客
01-20 1355
使用mysql的系统中常见sql错误使用mysql的系统中常见的sql错误：1.事务中某些表是非innodb类型。SQLWarning ignored:SQL state 'HY000', error code '1592',message [Unsafe statement written to the binary log using statement format since BINLOG...
Hibernate多数据源与分布式事务管理
Hibernate多数据源是指一个Hibernate应用程序连接多个数据库进行数据操作，而分布式事务管理则是指在分布式环境中对多个事务进行协调和管理，以保证数据的一致性和可靠性。 ## 1.2 分析使用Hibernate多数据源的优势...
基于Spring Boot 2的数据库连接池优化策略
数据库连接池在Spring Boot 2中起着至关重要的作用，它用于管理和维护应用程序与数据库之间的连接。连接池的原理是在应用程序初始化时创建一定数量的数据库连接，这些连接被放入连接池中供应用程序使用。当应用程序...
druid-1.1.6 源码包
12-09
druid-1.1.6 源码包，来体验一次相同的东西，不相同的下载速度！
druid-1.1.12.jar
12-14
Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池，在功能、性能、扩展性方面，都超过其他数据库连接池，包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。
springboot中的配置大全，看这一篇足够了
我是Cj，一个正义之人
09-08 3295
springboot号称不用xml，所有都可以写配置，因而大受欢迎，这里我整理了一下springboot中的一些配置，应该说比较齐全了吧 先上一个application.properties转 application.yml的网站，传送地址 banner: charset: UTF-8＃横幅文件编码。 image: height: ＃字符中横幅图像的高度（默认为图像高度） invert: ＃如果黑暗终端主题的图像应该被反转（默认为false） location: classp
【ERROR】wait millis 10014, active 17, maxActive 20, creating 1, createElapseMillis 503
最新发布
weixin_44810547的博客
11-24 1159
2.shardingsphere加载数大于了数据库最大连接数。2.shardingsphere减少连接数。1.查看配置数据修改最大连接数。1.数据最大连接数过小。
处理 wait millis 60009, active 50 ，maxactive 200 异常 过程
weixin_44371237的博客
09-02 309
https://blog.csdn.net/xiaoanzi123/article/details/100147072https://blog.csdn.net/yaomingyang/article/details/123145662
Durid连接池启动异常 spring+mybatis+mysql+durid
woshizhangmiao21的博客
03-30 688
数据源配置好之后，项目启动没报错，但是测试时，第一次调用接口返回如下异常，后面调用接口则正常了：2018-03-30 11:07:20,494 [com.rest.service.resteasy.handlers.RestServiceExceptionHandler:69][ERROR] - Could not open JDBC Connection for transaction; nes...
分析Atomikos数据连接池源码，弄清testQuery
iteye_3191的博客
07-05 257
作者:fbysss msn:jameslastchina@hotmail.com blog:blog.csdn.net/fbysss 声明：本文由fbysss原创，转载请注明出处 关键字：Atomikos数据连接池 前言 Atomikos数据连接池，国内有一些应用，但testQuery这个属性，在网上均是简单配置，并没有做特殊说明。通过对Atomikos源码的分析，发现这里很有...
数据库获取链接超时解决
oceanyang11的专栏
01-08 2675
项目上线后 ，系统每运行一个小时左右就宕机了。提示获取数据库链接超时。 2021-01-06 21:25:56.991 DEBUG org.springframework.jdbc.datasource.DataSourceTransactionManager - Creating new transaction with name [com.minstone.instance.api.api.WorkApiImpl.getWorkFlowCountByType]: PROPAGATION_REQUI
3分钟搞定SpringBoot+Mybatis+druid多数据源和分布式事务
08-10
### 回答1： 首先，为了使用多数据源和分布式事务，我们需要添加以下依赖： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.6</version> </dependency> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.2.0</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jta-atomikos</artifactId> </dependency> ``` 接下来，我们需要在application.properties文件中配置数据源和事务管理器： ```properties # 配置主数据源 spring.datasource.url=jdbc:mysql://localhost:3306/main_db?characterEncoding=utf8&useSSL=false spring.datasource.username=root spring.datasource.password=root spring.datasource.driver-class-name=com.mysql.jdbc.Driver # 配置从数据源 spring.datasource.slave.url=jdbc:mysql://localhost:3306/slave_db?characterEncoding=utf8&useSSL=false spring.datasource.slave.username=root spring.datasource.slave.password=root spring.datasource.slave.driver-class-name=com.mysql.jdbc.Driver # 配置Mybatis mybatis.mapper-locations=classpath:mapper/*.xml mybatis.type-aliases-package=com.example.entity # 配置Druid数据源 spring.datasource.type=com.alibaba.druid.pool.DruidDataSource spring.datasource.druid.initial-size=1 spring.datasource.druid.max-active=10 spring.datasource.druid.min-idle=1 spring.datasource.druid.max-wait=60000 spring.datasource.druid.time-between-eviction-runs-millis=60000 spring.datasource.druid.min-evictable-idle-time-millis=300000 spring.datasource.druid.test-while-idle=true spring.datasource.druid.test-on-borrow=false spring.datasource.druid.test-on-return=false spring.datasource.druid.filters=stat,wall,log4j spring.datasource.druid.connection-properties=druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000 # 配置事务管理器 spring.transaction.default-timeout=600 spring.transaction.rollback-on-commit-failure=true spring.transaction.allow-bean-definition-overriding=true spring.transaction.jta.registry-name=atomikos spring.jta.enabled=true spring.jta.atomikos.connectionfactory.min-pool-size=5 spring.jta.atomikos.connectionfactory.max-pool-size=10 spring.jta.atomikos.connectionfactory.borrow-connection-timeout=30 spring.jta.atomikos.connectionfactory.max-idle-time=60 spring.jta.atomikos.connectionfactory.concurrency-level=100 ``` 然后，我们需要创建两个数据源的配置类，分别为主数据源和从数据源： ```java @Configuration @MapperScan(basePackages = "com.example.mapper.main", sqlSessionTemplateRef = "mainSqlSessionTemplate") public class MainDataSourceConfig { @Bean(name = "mainDataSource") @ConfigurationProperties(prefix = "spring.datasource") public DataSource mainDataSource() { return DruidDataSourceBuilder.create().build(); } @Bean(name = "mainSqlSessionFactory") public SqlSessionFactory mainSqlSessionFactory(@Qualifier("mainDataSource") DataSource dataSource) throws Exception { SqlSessionFactoryBean bean = new SqlSessionFactoryBean(); bean.setDataSource(dataSource); bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/main/*.xml")); return bean.getObject(); } @Bean(name = "mainTransactionManager") public DataSourceTransactionManager mainTransactionManager(@Qualifier("mainDataSource") DataSource dataSource) { return new DataSourceTransactionManager(dataSource); } @Bean(name = "mainSqlSessionTemplate") public SqlSessionTemplate mainSqlSessionTemplate(@Qualifier("mainSqlSessionFactory") SqlSessionFactory sqlSessionFactory) throws Exception { return new SqlSessionTemplate(sqlSessionFactory); } } ``` ```java @Configuration @MapperScan(basePackages = "com.example.mapper.slave", sqlSessionTemplateRef = "slaveSqlSessionTemplate") public class SlaveDataSourceConfig { @Bean(name = "slaveDataSource") @ConfigurationProperties(prefix = "spring.datasource.slave") public DataSource slaveDataSource() { return DruidDataSourceBuilder.create().build(); } @Bean(name = "slaveSqlSessionFactory") public SqlSessionFactory slaveSqlSessionFactory(@Qualifier("slaveDataSource") DataSource dataSource) throws Exception { SqlSessionFactoryBean bean = new SqlSessionFactoryBean(); bean.setDataSource(dataSource); bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/slave/*.xml")); return bean.getObject(); } @Bean(name = "slaveTransactionManager") public DataSourceTransactionManager slaveTransactionManager(@Qualifier("slaveDataSource") DataSource dataSource) { return new DataSourceTransactionManager(dataSource); } @Bean(name = "slaveSqlSessionTemplate") public SqlSessionTemplate slaveSqlSessionTemplate(@Qualifier("slaveSqlSessionFactory") SqlSessionFactory sqlSessionFactory) throws Exception { return new SqlSessionTemplate(sqlSessionFactory); } } ``` 最后，我们需要在事务管理器上添加注解@EnableTransactionManagement，并在需要使用事务的方法上添加注解@Transactional： ```java @Service public class UserServiceImpl implements UserService { @Autowired private UserMapper userMapper; @Transactional(rollbackFor = Exception.class, transactionManager = "mainTransactionManager") @Override public void save(User user) { userMapper.insert(user); } @Transactional(rollbackFor = Exception.class, transactionManager = "slaveTransactionManager") @Override public User findById(int id) { return userMapper.selectByPrimaryKey(id); } } ``` 以上就是使用SpringBoot+Mybatis+druid多数据源和分布式事务的基本步骤。 ### 回答2： Spring Boot是一个用于构建独立的、生产级的应用程序的框架。它简化了应用程序的开发过程，并通过自动配置来减少了繁琐的配置。MyBatis是一个ORM（对象关系映射）框架，它提供了将数据库操作映射到Java对象的功能。Druid是一种高性能的数据库连接池。 要在Spring Boot中使用MyBatis和Druid进行多数据源配置和分布式事务管理，可以按照以下步骤进行操作： 1. 添加依赖：在项目的pom.xml文件中，添加Spring Boot、MyBatis和Druid的依赖。 2. 配置数据源：在application.properties文件中，配置并命名多个数据源，设置数据库连接等信息。 3. 创建数据源配置类：创建一个配置类，使用@Configuration注解将其标记为配置类，并使用@ConfigurationProperties注解将数据源属性注入。 4. 创建数据源：根据配置类中的属性，创建多个数据源，并将其加入到数据源路由器中。 5. 配置MyBatis：创建一个配置类，使用@MapperScan注解设置MyBatis的mapper接口路径，并将数据源注入到SqlSessionFactory中。 6. 配置分布式事务：使用@EnableTransactionManagement注解启用事务管理，并配置事务管理器。 7. 编写数据库操作代码：在mapper接口中定义数据库操作方法，并在Service层中调用这些方法进行数据库操作。 通过以上步骤，你就可以在Spring Boot项目中完成MyBatis和Druid的多数据源配置和分布式事务管理。不过需要注意的是，使用多数据源和分布式事务会增加项目的复杂性和性能开销，所以在使用之前需要仔细考虑是否真正需要这些功能。 ### 回答3： Spring Boot是一种快速构建Java应用程序的框架，MyBatis是一种流行的Java持久化框架，Druid是一种高性能的数据库连接池。本文将介绍如何在Spring Boot中使用MyBatis和Druid来实现多数据源和分布式事务。 要使用多个数据源，我们首先需要配置多个数据源。在Spring Boot中，我们可以通过在application.properties或者application.yml文件中配置多个数据源的连接信息。我们需要为每个数据源指定不同的URL、用户名和密码。然后，我们可以使用@Primary和@Qualifier来指定主数据源和其他数据源。 在配置数据源后，我们需要配置MyBatis来使用这些数据源。我们可以通过创建多个SqlSessionFactory来实现多数据源，然后在每个SqlSessionFactory中设置相应的数据源。我们还可以使用@MapperScan注解来自动扫描和注册Mapper接口。 在使用MyBatis和多个数据源时，我们可能会遇到事务管理的问题。为了解决这个问题，我们可以使用Spring Boot提供的@Transactional注解来标记需要进行事务管理的方法，然后Spring Boot会自动为我们处理事务。对于需要跨多个数据源进行事务管理的情况，我们可以使用JTA（Java Transaction API）实现分布式事务。在Spring Boot中，我们可以使用Atomikos或Bitronix等JTA提供商来实现分布式事务。 总结起来，使用Spring Boot、MyBatis和Druid，我们可以很容易地实现多数据源和分布式事务。通过正确配置数据源和使用相关注解，我们可以在几分钟内完成这些任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值