Mysql读写分离

最新推荐文章于 2024-08-06 17:49:28 发布
最新推荐文章于 2024-08-06 17:49:28 发布
阅读量45 收藏
点赞数
文章标签： mysql adb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_64949779/article/details/134047793
版权

读写分离

理论基础

问题描述

在当前系统中，后台管理系统及移动端的用户在进行数据访问时都是直接操作数据库MySQL的。

而MySQL只有一台，那么就可能会存在如下问题：

  1. 读（select）和写(insert update delete)所有压力都由一台数据库承担，压力大

  2. 数据库服务器磁盘损坏则数据丢失，单点故障

解决方案

为了解决上述提到的两个问题，我们可以准备多台MySQL，其中一台主(Master)服务器，多台从(Slave)服务器，同时对外提供服务。

主数据库负责数据的写入操作，而从数据库则负责数据的查询操作，我们把这种思路称之为读写分离，

而在这里存在一个问题，就是主库中的数据要实时的向各个从库进行同步，以保证整个数据系统的完整性，我们把这个过程称为主从复制。

主从复制

介绍

MySQL数据库默认是支持主从复制的，底层基于MySQL数据库自带的 二进制日志 功能实现。

二进制日志： 也成为binlog，这是MySQL自带的一种日志功能，它会记录下所有的增删改语句，但是不包括查询语句。

主从复制原理：

MySQL的主从复制其实就是由主库生成binlog，里面记录用户对数据库产生影响的操作。

从库负责读取这个日志，并进行解析得到对应的SQL语句，然后在自己所在的服务器上执行，就可以得到跟主库一致的数据了。在这里插入图片描述

MySQL复制过程分成三步：

  1. master将数据变更写入二进制日志

  2. slave将master的二进制日志拷贝到它的中继日志（relay log）

  3. slave重做中继日志中的事件，生成对应的数据存储到自己的数据区

实现（根据视频来做）

实现MySQL的主从复制其实非常简单，只需要对MySQL进行简单的配置即可

① 准备服务器

提前准备两台服务器，并且在服务器中安装MySQL，服务器的信息如下：

数据库IP数据库版本
Master192.168.136.1355.5.49-log
Slave192.168.136.1365.5.49-log

② 防火墙设置

分别修改两台服务器的防火墙策略，放行3306端口

③ 主库配置

下面操作仅仅在master库上执行

# 1. 修改mysql的配置文件/etc/my.cnf，保证下面两项
vim /etc/my.cnf

[mysqld]
log-bin=mysql-bin   #[必须]启用二进制日志(当前默认已开启)
server-id=1         #[必须]服务器唯一ID(当前默认就是1)

# 2. 重启mysql服务
systemctl restart mysql

# 3. 登录mysql
mysql -uroot -proot

# 4. 在mysql命令行中，创建数据同步的用户并授权
#    本操作会在mysql中创建一个账户xiaoming，密码为Root@123456，并且给xiaoming用户授予REPLICATION SLAVE权限。
#    常用于建立复制时所需要用到的用户权限，也就是slave必须被master授权具有该权限的用户，才能通过该用户复制。
GRANT REPLICATION SLAVE ON *.* to 'xiaoming'@'%' identified by 'Root@123456';

# 在mysql命令行中，查看master同步状态
show master status;

在这里插入图片描述

④ 从库配置

下面操作仅仅在slave库上执行

# 1. 修改mysql的配置文件/etc/my.cnf，保证下面两项
vim /etc/my.cnf

[mysqld]
log-bin=mysql-bin   #[必须]启用二进制日志(当前默认已开启)
server-id=2         #[必须]服务器唯一ID(当前默认1，必须手动修改成2)

# 2. 重启mysql服务
systemctl restart mysql

# 3. 登录mysql
mysql -uroot -proot

# 4. 在mysql命令行中，执行复制的操作
#    注意，这条命令中各项参数，需要根据实际情况进行修改
change master to  
	master_host='192.168.136.128', -- 主节点ip地址(需要改)
	master_user='xiaoming', -- 主节点创建的用于主从复制的账号
	master_password='Root@123456', -- 上面账号的密码
	master_log_file='mysql-bin.000004', -- 从主节点哪个日志文件开始同步(需要改)
	master_log_pos=198; -- 从主节点日志文件的哪个位置开始同步（需要改）
	
# 5. 在mysql命令行中，开始复制操作
# 	启动I/O线程从主库读取binlog，并存储到relaylog中继日志文件中。
# 	启动SQL线程读取中继日志，解析后在从库重放。	
start slave; 

# 6. 在mysql命令行中，查看主从复制的状态
show slave status;

在这里插入图片描述

测试

到此为止，主从复制环境已经搭建好了，接下来，我们可以连接上两台MySQL服务器进行测试。

测试时，我们只需要在主库Master执行操作，查看从库Slave中是否将数据同步过去即可。

① 在master中创建数据库itcast, 刷新slave查看是否可以同步过去

在这里插入图片描述

② 在master的itcast数据下创建user表, 刷新slave查看是否可以同步过去

在这里插入图片描述

③ 在master的user表中插入一条数据, 刷新slave查看是否可以同步过去
在这里插入图片描述

读写分离

背景介绍

面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。

通过读写分离，可以有效的降低单台数据库的访问压力, 提高访问效率，也可以避免单机故障。
在这里插入图片描述

主从复制已经完成了，那么在项目中，如何通过java代码来完成读写分离呢，

如何在执行select的时候查询从库，而在执行insert、update、delete的时候，操作主库呢？

这个时候，我们就需要介绍一个新的技术 ShardingJDBC。

ShardingJDBC

Sharding-JDBC定位为轻量级Java框架，完全兼容JDBC和各种ORM框架，可以在程序中轻松的实现数据库读写分离。具有以下几个特点：

  1. 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

  2. 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

  3. 支持任意实现JDBC规范的数据库，目前支持MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92标准的数据库。

实现

① 数据库环境

在主库中创建一个数据库rw, 并且创建一张表， 该数据库及表结构创建完毕后会自动同步至从数据库，SQL语句如下：

create database rw;
use rw;

CREATE TABLE `user` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `address` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

在这里插入图片描述

② 创建rw-demo工程，导入依赖

<properties>
    <java.version>1.8</java.version>
</properties>

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.4.5</version>
    <relativePath/>
</parent>

<dependencies>
    <dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        <version>4.0.0-RC1</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
        <scope>compile</scope>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.76</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.47</version>
        <scope>runtime</scope>
    </dependency>
    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.4.2</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid-spring-boot-starter</artifactId>
        <version>1.1.23</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.10</version>
    </dependency>
    <dependency>
        <groupId>cn.hutool</groupId>
        <artifactId>hutool-all</artifactId>
        <version>5.2.3</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
            <version>2.4.5</version>
        </plugin>
    </plugins>
</build>

③ 创建实体类

package com.itheima.domain;

import lombok.Data;
import java.io.Serializable;

@Data
public class User implements Serializable {

    private Long id;
    private String name;
    private int age;
    private String address;
}

④ 创建Mapper

package com.itheima.mapper;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.itheima.domain.User;

public interface UserMapper extends BaseMapper<User> {
}

⑤ 创建Servie接口

package com.itheima.service;

import com.itheima.domain.User;

import java.util.List;

public interface UserService {

    //查询所有
    List<User> findAll();

    //保存
    void insert(User user);

    //更新
    void update(User user);

    //删除
    void delete(Long id);
}

⑥ 创建service实现类

package com.itheima.service.impl;

import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.itheima.domain.User;
import com.itheima.mapper.UserMapper;
import com.itheima.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.List;

@Service
public class UserServiceImpl implements UserService {

    @Autowired
    private UserMapper userMapper;

    @Override
    public List<User> findAll() {
        return userMapper.selectList(new QueryWrapper<User>());
    }

    @Override
    public void insert(User user) {
        userMapper.insert(user);
    }

    @Override
    public void update(User user) {
        userMapper.updateById(user);
    }

    @Override
    public void delete(Long id) {
        userMapper.deleteById(id);
    }
}

⑦ 创建Controller

package com.itheima.controller;

import com.itheima.domain.User;
import com.itheima.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

@RestController
public class UserController {

    @Autowired
    private UserService userService;

    //查询
    @RequestMapping("/user/findAll")
    public List<User> findAll() {
        return userService.findAll();
    }

    //保存
    @RequestMapping("/user/insert")
    public void insert(User user) {
        userService.insert(user);
    }

    //修改
    @RequestMapping("/user/update")
    public void update(User user) {
        userService.update(user);
    }
    
    //删除
    @RequestMapping("/user/delete")
    public void update(Long id) {
        userService.delete(id);
    }
}

⑧ 创建主类

package com.itheima;

import org.mybatis.spring.annotation.MapperScan;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
@MapperScan("com.itheima.mapper")
public class RwApplication {
    public static void main(String[] args) {
        SpringApplication.run(RwApplication.class, args);
    }
}

⑨ 添加配置文件

在application.yml中增加配置

spring:
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.136.129:3306/rw?characterEncoding=utf-8
        username: root
        password: root
      # 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.136.130:3306/rw?characterEncoding=utf-8
        username: root
        password: root
    masterslave:
      # 读写分离配置
      load-balance-algorithm-type: round_robin #轮询
      # 最终的数据源名称
      name: dataSource
      # 主库数据源名称
      master-data-source-name: master
      # 从库数据源名称列表，多个逗号分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #开启SQL显示，默认false
  main: #该配置项的目的,就是如果当前项目中存在同名的bean,后定义的bean会覆盖先定义的。
    allow-bean-definition-overriding: true

在这里插入图片描述

⑩ 测试

新增：http://localhost:8080/user/insert?name=tom&age=10&address=beijing
在这里插入图片描述

查询：http://localhost:8080/user/findAll
在这里插入图片描述

修改
在这里插入图片描述

删除
在这里插入图片描述

shardingJDBC工作流程

!

项目整改

在项目父工程中的pom.xml增加依赖

<!--shardingJdbc-->
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

** 在项目的application.yml中配置数据源相关信息**

server:
  port: 8080
spring:
  application:
    name: reggie-web-manage # 应用名称
  servlet:
    multipart:
      max-request-size: 100MB # 最大请求文件大小,默认10MB
      max-file-size: 100MB # 单个请求文件大小,默认1MB
  redis:
    host: localhost
    port: 6379
    database: 0
  shardingsphere:
    datasource:
      names:
        master,slave
      master: #主数据源
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.136.129:3306/reggie-rw?characterEncoding=utf-8
        username: root
        password: root
      slave: #从数据源
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.136.130:3306/reggie-rw?characterEncoding=utf-8
        username: root
        password: root
    masterslave: #读写分离配置
      load-balance-algorithm-type: round_robin #轮询
      name: dataSource #最终的数据源名称
      master-data-source-name: master #主库数据源名称
      slave-data-source-names: slave #从库数据源名称列表，多个逗号分隔
    props:
      sql:
        show: true #开启SQL显示，默认false
  main:
    allow-bean-definition-overriding: true
mybatis-plus:
  configuration:
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  mapper-locations: classpath:/mappers/**.xml
  global-config:
    db-config:
      id-type: ASSIGN_ID # id生成策略类型

reggie:
  oss:
    key: LTAI5tNmH22y9C7AxdFEgdNv
    secret: AHGC0JSnBuYtYg3BnNvyTuwlwyl27n
    endpoint: oss-cn-beijing.aliyuncs.com
    bucket: tanhua-gxm
    url: https://tanhua-gxm.oss-cn-beijing.aliyuncs.com

测试

启动项目，执行增删改查操作，观察日志

夏近叶成惟~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql从库可以有多个主库吗_mysql主从复制的原理，配置方法及在线添加多个从库...
weixin_35796207的博客
02-18 1121
数据库主从复制原理： 顾名思义，数据库的主从复制就是从master数据库复制到slave数据库，在master与slave之间实现整个复制需要三个线程来完成，其中两个在slave端一个在master端。 在master端必须打开binlog功能，因为从数据库需要获得主数据的完整的操作日数据库主从复制原理：顾名思义，数据库的主从复制就是从master数据库复制到slave数据库，在master与sl...
mysql从库可以有多个主库吗_mysql 5.7多源复制（用于生产库多主库合并到一个查询从库）...
weixin_31411313的博客
01-18 671
目前我们使用的是主从+分库分表的系统架构，主库有N个分库，从库为多个slave做负载均衡，所以数据库端的架构是下面这样的：因为差不多有一年半没有专门搞技术为主了，顺带回顾下。这就涉及到多个主库数据同步到不分库分表的从库共查询和管理类系统使用。在mysql 5.6以及之前的版本中，没有原生的解决方法，除非使用mariadb分支，在mysql 5.7之后支持多源复制，除了使用原生的多源复制之外，还有一...
MySQL读写分离之MySQL 双主双从
csdn_welearn的博客
09-21 962
MySQL 双主双从实现读写分离 本节是基于上一节继续扩展，基于Docker 实现MySQL 2主2从（读写分离） 一、2 主 2从架构解析 1.两台mysql都可读写，互为主备，默认只使用一台（masterA）负责数据的写入，另一台（masterB）备用； 2.masterA是masterB的主库，masterB又是masterA的主库，它们互为主从； 3.两台主库之间做高可用,可以采用ke...
MySQL读写分离
weixin_61428407的博客
04-21 1538
MySQL读写分离
MySQL 读写分离
m0_53180869的博客
04-29 746
高并发场景下，系统需要处理大量的用户请求，这些请求可能包括数据的读取和写入。在数据库层面，如果所有的请求都直接作用在同一个数据库实例上，很容易因为单个实例的处理能力有限而成为瓶颈，导致系统性能下降。读写分离是一种常用的数据库架构优化手段，他的核心思想是将数据库的读操作和写操作分离到不同的数据库实例上，这样可以充分利用多个数据库实例的处理能力，提高系统的并发处理能力。
Mysql 读写分离中间件
u013454416的博客
01-18 2102
mysql读写分离算是很早就提出的一个提高数据库性能的方案，最少有10多年之久了吧，但是实际应用中非常多的企业系统中还是在使用MySQL主从，甚至就是一个mysql。甚至很多资深的开发人员知道读写分离，什么mycat 等等，但是真正用于生产的还是不多。今天我们就给大家推荐一款轻量级，配置简单搭建方便的读写分离中间件。经过多款读写分离中间件比对后最为实用，非常适合中小型系统的读写分离中间件 maxscale。
mysql读写分离
xyjynl的博客
04-21 1609
一、读写分离原理 读写分离就是只在主服务器上写，只在从服务器上读。基本的原理是让主数据库处理事务性查询， 而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性查询导致的变更同步到集群 中的从数据库。 二、为什么要做读写分离 因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。 但是数据库的“读”（读10000条数据可能只要5秒钟）。 所以读写分离，解决的是，数据库的写入，影响了查询的效率 三、实现方式 常见的 MySQL 读写分离分为以下两种： ①
mysql 读写分离_详解MySQL读写分离
weixin_33173924的博客
01-18 3020
主从复制的原理MySQL的主从复制和读写分离两者有着紧密的联系，首先要部署主从复制，只有主从复制完成了才能在此基础上进行数据的读写分离。读写分离的原理简单来说，读写分离就是只在主服务器上写，只在从服务器上读。基本原理是让主数据库处理事务性查询，而从服务器处理select查询。数据库复制被用来把事务性查询导致的变更同步到从数据库中。基于中间代理层实现：代理一般位于客户端和服务器之间，代理服务器接到客...
mysql读写分离优点_mysql读写分离
weixin_30633869的博客
01-19 2092
什么是读写分离在数据库集群架构中，让主库负责处理事务性查询，而从库只负责处理select查询，让两者分工明确达到提高数据库整体读写性能。当然，主数据库另外一个功能就是负责将事务性查询导致的数据变更同步到从库中，也就是写操作。读写分离的好处1)分摊服务器压力，提高机器的系统处理效率读写分离适用于读远比写的场景，如果有一台服务器，当select很多时，update和delete会被这些select访问...
MySQL读写分离后的延迟解决方案
eagle89的专栏
05-27 858
MySQL读写分离后的延迟解决方案
springboot+mysql读写分离
07-29
springboot结合mysql主从来实现读写分离 一、实现的功能 1、基于springboot框架，application.yml配置多个数据源，使用AOP以及AbstractRootingDataSource、ThreadLocal来实现多数据源切换，以实现读写分离。mysql...
MySQL读写分离技术
01-27
阅读目录1、简介2、基本环境3、配置主从复制4、MySQL读写分离配置4.1、安装lua4.2、安装mysql-proxy5、MySQL读写分离测试1）、修改rw-splitting.lua文件2）、修改完成后，启动mysql-proxy3）、创建用于读写分离的...
MySQL 读写分离实例详解
12-15
MySQL 读写分离是一种常见的数据库优化策略，它将数据库的读操作和写操作分配到不同的服务器上，以提高系统的并发处理能力和响应速度。在大型应用系统中，由于大量的读操作通常远超过写操作，这种分离可以显著提升...
认识MySQL
m0_51821434的博客
08-06 322
这篇文章可以让你了解数据库，不在懵懵懂懂！
MySQL之Lost connection to MySQL server during query复现测试
WU2629409421perfect的博客
08-03 326
Lost connection to MySQL server during query
尚硅谷谷粒商城项目笔记——六、使用navciat连接docker中的mysql容器【电脑CPU：AMD】
B6665X的博客
08-06 160
尚硅谷谷粒商城项目笔记——六、使用navciat连接docker中的mysql容器【电脑CPU：AMD】
MYSQL主库切换binlog模式后主从同步错误
最新发布
weixin_45626288的博客
08-06 498
在使用FlinkSQL的mysql-cdc连接器监听MySQL数据库时，确保binlog模式为ROW是必要的。但在切换binlog模式时，需要特别注意主从库的数据一致性和同步状态。
2024.8.2（MySQL）
weixin_70751278的博客
08-02 1507
2024-08-02T01:49:19.435048Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: dQ1o<YO&YNyX 密码。语法：create table user( id int primarykey,username varchar，password varchar );#insert into 表名 (字段名列表) values (字段值列表)2.5.2 修改列名。
mysql 读写分离
08-19
MySQL读写分离是一种数据库架构设计方法，它的基本原理是让主数据库处理事务性的增、删、改操作（INSERT、DELETE、UPDATE），而从数据库处理SELECT查询操作。这样可以分担主数据库的压力，提高整个系统的性能。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值