MySQL主从复制

俊祺.

已于 2023-02-02 21:03:49 修改

阅读量697

点赞数 1

文章标签： mysql Powered by 金山文档

于 2023-02-02 20:14:06 首次发布

本文链接：https://blog.csdn.net/weixin_73241486/article/details/128856403

版权

文章详细介绍了MySQL主从复制的原理、配置步骤，包括二进制日志的作用，以及如何在Java应用中使用ShardingJDBC进行读写分离的配置和测试，确保数据一致性并提升系统性能。

摘要由CSDN通过智能技术生成

简介

MySQL主从复制是一个异步的复制过程，底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台MySQL数据库（slave，即从库）从另一台MySQL数据库（master，即主库）进行日志的复制，然后再解析日志并应用到自身，最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MySQL数据库自带功能，无需借助第三方工具。

二进制日志：

二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用，MySQL的主从复制，就是通过该binlog实现的。默认MySQL是未开启该日志的。

MySQL的主从复制原理

MySQL master（主数据库）将数据库变更的数据写入二进制日志（binary log）中；

MySQL slaver（从数据库）有两条线程，I/O线程和SQL线程

I/O线程负责（监听）读取主数据库的二进制文件，并拷贝到它（从数据库）的中继日志（relay log）中

再通过SQL线程读取它中继日志中的事件，并将数据变更反映到自己的数据库中。

搭建

一、主库配置

服务器：192.168.37.129

1.提前准备两台服务器，防火墙开放3306端口，并且在服务器中安装MySQL

打开防火墙端口的命令
firewall-cmd --zone=public --add-port=3306/tcp --permanent
查看所有开放的端口
firewall-cmd --zone=public --list-ports

两台服务器上运行MySQL

mysql -uroot -proot

主服务器中修改MySQL的配置文件/etc/my.cnf

vim /etc/my.cnf
文件末尾增加配置：
log-bin=mysql-bin   #[必须]启用二进制日志
server-id=200       #[必须]服务器唯一ID(唯一即可)

2.重启MySQL服务

systemctl restart mysqld

3.创建数据同步的用户并授权

登录mysql，并执行如下指令，创建用户并授权：

grant replication slave on *.* to 'xiaoming'@'%' identified by 'XiaoMingLovemm@123456';

注：上面SQL的作用是创建一个用户 xiaoming ，密码为 XiaoMingLovemm@123456 ，并且给xiaoming用户授予REPLICATION SLAVE权限。常用于建立复制时所需要用到的用户权限，也就是slave必须被master授权具有该权限的用户，才能通过该用户复制。

4.登录Mysql数据库，查看master同步状态

执行下面SQL，记录下结果中File和Position的值

show master status;

=====================================================================================
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000009 |    66321 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

注：上面SQL的作用是查看Master的状态，执行完此SQL后不要再执行任何操作

二、从库配置

服务器： 192.168.37.130

1.修改Mysql数据库的配置文件/etc/my.cnf

vim /etc/my.cnf
文件末尾增加配置：
server-id=201       #[必须]服务器唯一ID(唯一即可)

2.重启Mysql服务

systemctl restart mysqld

3.登录Mysql数据库，设置主库地址及同步位置

change master to master_host='192.168.37.129',master_user='xiaoming',master_password='XiaoMingLovemm@123456',master_log_file='mysql-bin.000009',master_log_pos=66321;


start slave;

参数说明： 

    A. master_host : 主库的IP地址

    B. master_user : 访问主库进行主从复制的用户名(上面在主库创建的)

    C. master_password : 访问主库进行主从复制的用户名对应的密码

    D. master_log_file : 从哪个日志文件开始同步(上述查询master状态中展示的有)

    E. master_log_pos : 从指定日志文件的哪个位置开始同步(上述查询master状态中展示的有)

4.查看从数据库的状态

show slave status\G;

然后通过状态信息中的 Slave_IO_running 和 Slave_SQL_running 可以看出主从同步是否就绪，如果这两个参数全为Yes，表示主从同步已经配置完成。

三、测试

在Navicat中连接两台服务器，并在主服务器中新增数据库、建表、表中添加数据删除数据等操作，刷新从服务器查看是否同步，如已同步，说明搭建成功。

ShardingJDBC

主从复制结构已完成，接下来是通过java代码实现读写分离，在执行select的时候查询从库，而在执行insert、update、delete的时候，操作主库的需求

Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。

Sharding-JDBC具有以下几个特点：

1). 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

2). 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

3). 支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92标准的数据库。

一、配置：

1.导入依赖、主库中建库建表

<!--在pom.xml中增加shardingJdbc的maven坐标-->
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

2.在application.yml中增加数据源的配置

server:
  port: 8080
mybatis-plus:
  configuration:
    #在映射实体或者属性时，将数据库中表名和字段名中的下划线去掉，按照驼峰命名法映射
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  global-config:
    db-config:
      id-type: ASSIGN_ID


#配置数据源名称
spring:
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.37.129:3306/rw?characterEncoding=utf-8
        username: root
        password: root
      # 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.37.130:3306/rw?characterEncoding=utf-8
        username: root
        password: root
    masterslave:
      # 数据源的逻辑名称
      name: dataSource
      # 主库数据源名称
      master-data-source-name: master
      # 从库数据源名称列表，多个逗号分隔
      slave-data-source-names: slave
      # 读写分离配置
      load-balance-algorithm-type: round_robin
    props:
      sql:
        show: true #开启SQL显示，默认false
  #解决bean覆盖问题
  main:
    allow-bean-definition-overriding: true
    #该配置项的目的,就是如果当前项目中存在同名的bean,后定义的bean会覆盖先定义的。
    #如果不配置该项，项目启动之后将会报错：
#报错信息表明，在声明 org.apache.shardingsphere.shardingjdbc.spring.boot 包下的SpringBootConfiguration中的dataSource这个bean时出错, 原因是有一个同名的 dataSource 的bean在com.alibaba.druid.spring.boot.autoconfigure包下的DruidDataSourceAutoConfigure类加载时已经声明了。

二、测试

我们使用shardingjdbc来实现读写分离，直接通过上述简单的配置就可以了。配置完毕之后，我们就可以重启服务，通过postman来访问controller的方法，来完成用户信息的增删改查，我们可以通过debug及日志的方式来查看每一次执行增删改查操作，使用的是哪个数据源，连接的是哪个数据库。

1). 保存数据

控制台输出日志，可以看到操作master主库：

（修改、删除都是操作主库，就不一一举例了）

2). 查询数据

控制台输出日志，可以看到操作slave主库：

SpringBoot多环境配置：

application-pro.yml【生产环境】

server:
  port: 8080
mybatis-plus:
  configuration:
    #在映射实体或者属性时，将数据库中表名和字段名中的下划线去掉，按照驼峰命名法映射
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  global-config:
    db-config:
      id-type: ASSIGN_ID


spring:
  application:
    #应用的名称，可选
    name: reggie_take_out
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.37.129:3306/reggie98?characterEncoding=utf-8
        username: root
        password: root
      # 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.37.130:3306/reggie98?characterEncoding=utf-8
        username: root
        password: root
    masterslave:
      # 数据源的逻辑名称
      name: dataSource
      # 主库数据源名称
      master-data-source-name: master
      # 从库数据源名称列表，多个逗号分隔
      slave-data-source-names: slave
      # 读写分离配置
      load-balance-algorithm-type: round_robin
    props:
      sql:
        show: true #开启SQL显示，默认false
  #解决bean覆盖问题
  main:
    allow-bean-definition-overriding: true

  redis:
    host: 192.168.37.129

  cache:
    redis:
      time-to-live: 600000

reggie:
  path: D:\JAVA\IMG\

application-dev.yml【开发环境】

server:
  port: 8080
spring:
  application:
    #应用的名称，可选
    name: reggie_take_out
  datasource:
    druid:
      driver-class-name: com.mysql.cj.jdbc.Driver
      url: jdbc:mysql://localhost:3306/reggie98?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true
#      url: jdbc:mysql://192.168.19.84:3306/reggie98?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true
      username: root
      password: 1234

  redis:
    host: 192.168.37.129

  cache:
    redis:
      time-to-live: 600000


mybatis-plus:
  configuration:
    #在映射实体或者属性时，将数据库中表名和字段名中的下划线去掉，按照驼峰命名法映射
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  global-config:
    db-config:
      id-type: ASSIGN_ID

reggie:
  path: D:\JAVA\IMG\

application.yml【主配置类，决定在哪个环境下运行】