mysql 读写分离 boot_SpringBoot+MyBatis+MySQL读写分离

最新推荐文章于 2022-07-14 20:14:24 发布
最新推荐文章于 2022-07-14 20:14:24 发布
阅读量131 收藏
点赞数
文章标签： mysql 读写分离 boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34456422/article/details/114337649
版权

1.  引言

读写分离要做的事情就是对于一条SQL该选择哪个数据库去执行，至于谁来做选择数据库这件事儿，无非两个，要么中间件帮我们做，要么程序自己做。因此，一般来讲，读写分离有两种实现方式。第一种是依靠中间件(比如：MyCat)，也就是说应用程序连接到中间件，中间件帮我们做SQL分离；第二种是应用程序自己去做分离。这里我们选择程序自己来做，主要是利用Spring提供的路由数据源，以及AOP

然而，应用程序层面去做读写分离最大的弱点(不足之处)在于无法动态增加数据库节点，因为数据源配置都是写在配置中的，新增数据库意味着新加一个数据源，必然改配置，并重启应用。当然，好处就是相对简单。

6a85baa85a53df465a878757e2165717.png

2.  AbstractRoutingDataSource

基于特定的查找key路由到特定的数据源。它内部维护了一组目标数据源，并且做了路由key与目标数据源之间的映射，提供基于key查找数据源的方法。

c8c1c2569b5752917881796dd728ec67.png

3.  实践

3.1.  maven依赖

48304ba5e6f9fe08f3fa1abda7d326ab.png

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

com.cjs.example

cjs-datasource-demo

0.0.1-SNAPSHOT

jar

cjs-datasource-demo

org.springframework.boot

spring-boot-starter-parent

2.0.5.RELEASE

UTF-8

UTF-8

1.8

org.springframework.boot

spring-boot-starter-aop

org.springframework.boot

spring-boot-starter-jdbc

org.springframework.boot

spring-boot-starter-web

org.mybatis.spring.boot

mybatis-spring-boot-starter

1.3.2

org.apache.commons

commons-lang3

3.8

mysql

mysql-connector-java

runtime

org.springframework.boot

spring-boot-starter-test

test

org.springframework.boot

spring-boot-maven-plugin

48304ba5e6f9fe08f3fa1abda7d326ab.png

3.2.  数据源配置

application.yml

48304ba5e6f9fe08f3fa1abda7d326ab.png

spring:

datasource:

master:

jdbc-url: jdbc:mysql://192.168.102.31:3306/test

username: root

password: 123456

driver-class-name: com.mysql.jdbc.Driver

slave1:

jdbc-url: jdbc:mysql://192.168.102.56:3306/test

username: pig # 只读账户

password: 123456

driver-class-name: com.mysql.jdbc.Driver

slave2:

jdbc-url: jdbc:mysql://192.168.102.36:3306/test

username: pig # 只读账户

password: 123456

driver-class-name: com.mysql.jdbc.Driver

48304ba5e6f9fe08f3fa1abda7d326ab.png

多数据源配置

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.config;

import com.cjs.example.bean.MyRoutingDataSource;

import com.cjs.example.enums.DBTypeEnum;

import org.springframework.beans.factory.annotation.Qualifier;

import org.springframework.boot.context.properties.ConfigurationProperties;

import org.springframework.boot.jdbc.DataSourceBuilder;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import javax.sql.DataSource;

import java.util.HashMap;

import java.util.Map;

/**

* 关于数据源配置，参考SpringBoot官方文档第79章《Data Access》

* 79. Data Access

* 79.1 Configure a Custom DataSource

* 79.2 Configure Two DataSources

*/

@Configuration

public class DataSourceConfig {

@Bean

@ConfigurationProperties("spring.datasource.master")

public DataSource masterDataSource() {

return DataSourceBuilder.create().build();

}

@Bean

@ConfigurationProperties("spring.datasource.slave1")

public DataSource slave1DataSource() {

return DataSourceBuilder.create().build();

}

@Bean

@ConfigurationProperties("spring.datasource.slave2")

public DataSource slave2DataSource() {

return DataSourceBuilder.create().build();

}

@Bean

public DataSource myRoutingDataSource(@Qualifier("masterDataSource") DataSource masterDataSource,

@Qualifier("slave1DataSource") DataSource slave1DataSource,

@Qualifier("slave2DataSource") DataSource slave2DataSource) {

Map targetDataSources = new HashMap<>();

targetDataSources.put(DBTypeEnum.MASTER, masterDataSource);

targetDataSources.put(DBTypeEnum.SLAVE1, slave1DataSource);

targetDataSources.put(DBTypeEnum.SLAVE2, slave2DataSource);

MyRoutingDataSource myRoutingDataSource = new MyRoutingDataSource();

myRoutingDataSource.setDefaultTargetDataSource(masterDataSource);

myRoutingDataSource.setTargetDataSources(targetDataSources);

return myRoutingDataSource;

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

这里，我们配置了4个数据源，1个master，2两个slave，1个路由数据源。前3个数据源都是为了生成第4个数据源，而且后续我们只用这最后一个路由数据源。

MyBatis配置

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.config;

import org.apache.ibatis.session.SqlSessionFactory;

import org.mybatis.spring.SqlSessionFactoryBean;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.core.io.support.PathMatchingResourcePatternResolver;

import org.springframework.jdbc.datasource.DataSourceTransactionManager;

import org.springframework.transaction.PlatformTransactionManager;

import org.springframework.transaction.annotation.EnableTransactionManagement;

import javax.annotation.Resource;

import javax.sql.DataSource;

@EnableTransactionManagement

@Configuration

public class MyBatisConfig {

@Resource(name = "myRoutingDataSource")

private DataSource myRoutingDataSource;

@Bean

public SqlSessionFactory sqlSessionFactory() throws Exception {

SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();

sqlSessionFactoryBean.setDataSource(myRoutingDataSource);

sqlSessionFactoryBean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/*.xml"));

return sqlSessionFactoryBean.getObject();

}

@Bean

public PlatformTransactionManager platformTransactionManager() {

return new DataSourceTransactionManager(myRoutingDataSource);

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

由于Spring容器中现在有4个数据源，所以我们需要为事务管理器和MyBatis手动指定一个明确的数据源。

3.3.  设置路由key / 查找数据源

目标数据源就是那前3个这个我们是知道的，但是使用的时候是如果查找数据源的呢？

首先，我们定义一个枚举来代表这三个数据源

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.enums;

public enum DBTypeEnum {

MASTER, SLAVE1, SLAVE2;

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

接下来，通过ThreadLocal将数据源设置到每个线程上下文中

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.bean;

import com.cjs.example.enums.DBTypeEnum;

import java.util.concurrent.atomic.AtomicInteger;

public class DBContextHolder {

private static final ThreadLocal contextHolder = new ThreadLocal<>();

private static final AtomicInteger counter = new AtomicInteger(-1);

public static void set(DBTypeEnum dbType) {

contextHolder.set(dbType);

}

public static DBTypeEnum get() {

return contextHolder.get();

}

public static void master() {

set(DBTypeEnum.MASTER);

System.out.println("切换到master");

}

public static void slave() {

// 轮询

int index = counter.getAndIncrement() % 2;

if (counter.get() > 9999) {

counter.set(-1);

}

if (index == 0) {

set(DBTypeEnum.SLAVE1);

System.out.println("切换到slave1");

}else {

set(DBTypeEnum.SLAVE2);

System.out.println("切换到slave2");

}

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

获取路由key

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.bean;

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

import org.springframework.lang.Nullable;

public class MyRoutingDataSource extends AbstractRoutingDataSource {

@Nullable

@Override

protected Object determineCurrentLookupKey() {

return DBContextHolder.get();

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

设置路由key

默认情况下，所有的查询都走从库，插入/修改/删除走主库。我们通过方法名来区分操作类型(CRUD)

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.aop;

import com.cjs.example.bean.DBContextHolder;

import org.apache.commons.lang3.StringUtils;

import org.aspectj.lang.JoinPoint;

import org.aspectj.lang.annotation.Aspect;

import org.aspectj.lang.annotation.Before;

import org.aspectj.lang.annotation.Pointcut;

import org.springframework.stereotype.Component;

@Aspect

@Component

public class DataSourceAop {

@Pointcut("!@annotation(com.cjs.example.annotation.Master) " +

"&& (execution(* com.cjs.example.service..*.select*(..)) " +

"|| execution(* com.cjs.example.service..*.get*(..)))")

public void readPointcut() {

}

@Pointcut("@annotation(com.cjs.example.annotation.Master) " +

"|| execution(* com.cjs.example.service..*.insert*(..)) " +

"|| execution(* com.cjs.example.service..*.add*(..)) " +

"|| execution(* com.cjs.example.service..*.update*(..)) " +

"|| execution(* com.cjs.example.service..*.edit*(..)) " +

"|| execution(* com.cjs.example.service..*.delete*(..)) " +

"|| execution(* com.cjs.example.service..*.remove*(..))")

public void writePointcut() {

}

@Before("readPointcut()")

public void read() {

DBContextHolder.slave();

}

@Before("writePointcut()")

public void write() {

DBContextHolder.master();

}

/**

* 另一种写法：if...else... 判断哪些需要读从数据库，其余的走主数据库

*/

// @Before("execution(* com.cjs.example.service.impl.*.*(..))")

// public void before(JoinPoint jp) {

// String methodName = jp.getSignature().getName();

//

// if (StringUtils.startsWithAny(methodName, "get", "select", "find")) {

// DBContextHolder.slave();

// }else {

// DBContextHolder.master();

// }

// }

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

有一般情况就有特殊情况，特殊情况是某些情况下我们需要强制读主库，针对这种情况，我们定义一个主键，用该注解标注的就读主库

package com.cjs.example.annotation;

public @interface Master {

}

例如，假设我们有一张表member

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example.service.impl;

import com.cjs.example.annotation.Master;

import com.cjs.example.entity.Member;

import com.cjs.example.entity.MemberExample;

import com.cjs.example.mapper.MemberMapper;

import com.cjs.example.service.MemberService;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

import org.springframework.transaction.annotation.Transactional;

import java.util.List;

@Service

public class MemberServiceImpl implements MemberService {

@Autowired

private MemberMapper memberMapper;

@Transactional

@Override

public int insert(Member member) {

return memberMapper.insert(member);

}

@Master

@Override

public int save(Member member) {

return memberMapper.insert(member);

}

@Override

public List selectAll() {

return memberMapper.selectByExample(new MemberExample());

}

@Master

@Override

public String getToken(String appId) {

// 有些读操作必须读主数据库

// 比如，获取微信access_token，因为高峰时期主从同步可能延迟

// 这种情况下就必须强制从主数据读

return null;

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

4.  测试

48304ba5e6f9fe08f3fa1abda7d326ab.png

package com.cjs.example;

import com.cjs.example.entity.Member;

import com.cjs.example.service.MemberService;

import org.junit.Test;

import org.junit.runner.RunWith;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.test.context.SpringBootTest;

import org.springframework.test.context.junit4.SpringRunner;

@RunWith(SpringRunner.class)

@SpringBootTest

public class CjsDatasourceDemoApplicationTests {

@Autowired

private MemberService memberService;

@Test

public void testWrite() {

Member member = new Member();

member.setName("zhangsan");

memberService.insert(member);

}

@Test

public void testRead() {

for (int i = 0; i < 4; i++) {

memberService.selectAll();

}

}

@Test

public void testSave() {

Member member = new Member();

member.setName("wangwu");

memberService.save(member);

}

@Test

public void testReadFromMaster() {

memberService.getToken("1234");

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

查看控制台

d12f87b7363430cce800f8ec7d509c3a.png

e5608d7469c84b59e9907f36cc27c907.png

05b6436d667379a8635f981ad5ef5e96.png

91cffae921bc3f6fc4d64049f153f009.png

5.  工程结构

6aeefc8d4c8daf7a1e330a8b13583782.png

6.  参考

Young斯基
关注
SpringBoot+Mybatis+MySql
yunxiaodefeng的博客
07-02 8818
1：前提安装好JDK ,IDEA,MAVEN 此处不多赘述 ，不会的同学请先进行学习2：File→New →Project                3: pom.xml 信息&lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="...
druid mysql读写分离_Spring Boot + Mybatis + Druid 实现MySQL一主多从读写分离
weixin_35817939的博客
01-19 678
Spring Boot 读写分离实现原理实现方式主要是通过扩展Spring AbstractRoutingDataSource这个类充当DataSource路由中介，在运行当中根据自定义KEY值动态切换正真的DataSource。具体实现创建测试库、表：create database `mytest_db`;CREATE TABLE `t_user` (`id` int(11) NOT NULL ...
SpringBoot+Mybatis+mysql
08-17
该文件为SpringBoot+Mybatis小demo，可以直接读取mysql数据库，亲测可用
基于 SpringBoot 的 MySQL 实现读写分离
程序员小乐
01-29 290
点击上方 "编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文You never know how strong you really are ...
springboot实现读写分离(基于Mybatis，mysql)
weixin_34099526的博客
06-03 282
近日工作任务较轻，有空学习学习技术，遂来研究如果实现读写分离。这里用博客记录下过程，一方面可备日后查看，同时也能分享给大家（网上的资料真的大都是抄来抄去，，还不带格式的，看的真心难受）。 完整代码：github.com/FleyX/demo-… 1、背景   一个项目中数据库最基础同时也是最主流的是单机数据库，读写都在一个库中。当用户逐渐增多，单机数据库无法满足性能要求时，就会进行读写分离改造（适...
springboot+mybatis+mysql实现读写分离.zip
10-23
springboot+mybatis+mysql实现读写分离 先在建好mysql主从数据库的配置，然后在代码中根据读写分离或强制读取master数据库中的数据 mysql数据库设置主从，参考： ...
springBoot+mybatis读写分离（AOP）
04-02
通过以上步骤，我们成功地在Spring Boot项目中实现了基于AOP的读写分离。这种方式不需要额外的插件，代码简洁，易于理解和维护。在高并发场景下，这种方案能够有效地减轻数据库压力，提高系统响应速度，是优化数据库...
SpringBoot +Mybatis +POI导入、导出Excel文件
05-16
在SpringBoot项目中，通过SpringBoot的starter-mybatis模块，可以方便地将Mybatis与Spring Boot整合，实现数据访问。 Apache POI是Apache软件基金会的一个开源项目，提供了Java API用于读写Microsoft Office格式的...
springboot +mybatis+oracle 配置多个数据源,配置两个数据库信息
12-25
在Spring Boot项目中，我们经常会遇到需要连接多个数据库的需求，比如主从数据库、读写分离等场景。本配置示例将详细介绍如何在Spring Boot中整合MyBatis与Oracle数据库，并配置两个不同的数据源。 首先，我们需要...
Spring Boot + MyBatis + MySql + 表映射文件生成器
03-12
Spring Boot + Mybatis + MySql + 表映射文件生成器。
spring boot +mybatis+mysql+dubbo+zookeeper分布式架构搭建
04-10
springboot + mybatis + mysql + dubbo+ zookeeper一个简单的分布式搭建过程
(Spring Boot + MyBatis + MySQL)整合实现登录功能，内附SQL文件
09-10
(Spring Boot + MyBatis + MySQL)整合实现登录功能，内附SQL文件
Springboot + Mybatis + MySQL
nanxiang11的博客
09-14 2338
前言 这篇文章主要介绍的是对于数据库的增删查改以及稍微难一点的联级查询!废话不多说，我们开始吧！ 加载依赖 <!--JDBC--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId> </de
Springboot+Mybatis+MySQL+IDEA新建项目
weixin_46245597的博客
06-19 1060
新建项目 Maven设置 pom.xml配置文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://m
SpringBoot项目中实现MySQL读写分离
m0_55613022的博客
07-14 2108
MySQL主从复制是一个异步的复制过程，底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台MySQL数据库（slave，即从库）从另一台MySQL数据库（master，即主库）进行日志的复制，然后再解析日志并应用到自身，最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MySQL数据库自带功能，无需借助第三方工具。这可能是由于linux是复制出来的，MySQL中还有一个是一样的，我们也需要修改。...
SpringBoot-MySQL读写分离数据源配置
郄梦岩的博客
07-23 346
读写分离数据源配置与多数据源配置不同之处在于，读写分离所用到的数据库是一致的（例如：都是mysql），而多数据源则是所用到的数据库不同（例如：mysql、sqlserver等等）。以下为读写分离数据源配置： 1.创建一个枚举类 package com.qmy.config.dataSource; //创建枚举类DataSourceKey列出你所有的数据源名称 public enum Data...
采用aop进行数据库读写分离
lwy572039941的博客
07-15 959
采用aop进行数据库读写分离 转自： https://mp.weixin.qq.com/s__biz=MzA5NzgzODI5NA==&mid=2454036042&idx=2&sn=723a3855a586237938f256f7267703f4&chksm=872b8bf3b05c02e52b56b9f2bd46b6e1a6656fba41942b6fd9a0...
springboot+mybatis配置mysql
weixin_41702950的博客
05-25 4892
本篇我们将分享springboot+mybatis配置mysql，自工作以来，就一直使用ssm框架来开发项目，后来接触到了springboot的方式，配置内容就简单多了，很多都是被封装好了，但我们要会用。 一、我们先创建一个springboot项目 1. 2.勾住spring web 点击Finish就ok了,等待项目包导好。 二、项目包导好后我们开始配置mybatis 和mysql 1.确保刚刚构建的springboot工程没问题，我们启动访问一下 2.配置mybatis和mysql （1）.先
SpringBoot+Mybatis注解方式实现多数据源读写分离教程
"本文将详细介绍如何使用Mybatis注解来实现多数据源的读写分离。在实际项目中，为了提高数据库性能，通常会采用主从数据库的架构，主数据库负责写操作，从数据库负责读操作。我们将通过具体的步骤和示例代码来展示这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值