主从同步步骤读写分离+自遇错误分享

最新推荐文章于 2023-05-31 14:14:26 发布

青樖

最新推荐文章于 2023-05-31 14:14:26 发布

阅读量150

点赞数

文章标签：数据库服务器运维

本文链接：https://blog.csdn.net/qq_41613379/article/details/125920327

版权

存在的必要：

MySQL服务器只有一台，那么就可能会存在如下问题：

1). 读和写所有压力都由一台数据库承担，压力大

2). 数据库服务器磁盘损坏则数据丢失，单点故障

解决方案：准备两台MySQL，一台主(Master)服务器，一台从(Slave)服务器，主库的数据变更，需要同步到从库中(主从复制)。而用户在访问我们项目时，如果是写操作(insert、update、delete)，则直接操作主库；如果是读(select)操作，则直接操作从库(在这种读写分离的结构中，从库是可以有多个的)，这种结构我们称为读写分离。

MySQL主从复制是一个异步的复制过程，底层是基于Mysql数据库自带的 二进制日志 功能。就是一台或多台MySQL数据库（slave，即从库）从另一台MySQL数据库（master，即主库）进行日志的复制，然后再解析日志并应用到自身，最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MySQL数据库自带功能，无需借助第三方工具。

二进制日志：

二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用，MySQL的主从复制，就是通过该binlog实现的。默认MySQL是未开启该日志的。

MySQL复制过程分成三步：

1). MySQL master 将数据变更写入二进制日志( binary log)

2). slave将master的binary log拷贝到它的中继日志（relay log）

3). slave重做中继日志中的事件，将数据变更反映它自己的数据

提前准备两台服务器，并且在服务器中安装MySQL

并在两台服务器上做如下准备工作:

防火墙开放3306端口号：
firewall-cmd --zone=public --add-port=3306/tcp --permanent

firewall-cmd --zone=public --list-ports

主库配置：

数据库服务器启动：systemctl start mysqld

登录mysql ： mysql -u**** -p**** （****为用户名和密码）

查看状态 Systemctl status mysqld 数据库状态查看

修改Mysql数据库的配置文件/etc/my.cnf

log-bin=mysql-bin   #[必须]启用二进制日志
server-id=200       #[必须]服务器唯一ID(唯一即可)

重启Mysql服务 ：systemctl restart mysqld

创建数据同步的用户并授权

GRANT REPLICATION SLAVE ON *.* to '****'@'%' identified by '****';  (****为用户名和密码)

登录Mysql数据库，查看master同步状态

执行下面SQL，记录下结果中File和Position的值

show master status;

主库配置完毕不需要在动了可能会改变状态

从库配置：

修改Mysql数据库的配置文件/etc/my.cnf ：

server-id=201 	#[必须]服务器唯一ID

重启Mysql服务 systemctl restart mysqld

登录Mysql数据库，设置主库地址及同步位置

change master to master_host='192.168.你自己的主机IP',master_user='主库配的用户名',master_password='主库配的密码',master_log_file='File',master_log_pos=Position;

start slave; 启动
如果报错  执行  stop slave;  在重复以上步骤

show slave status；查看从数据库状态

参数说明：

A. master_host : 主库的IP地址

B. master_user : 访问主库进行主从复制的用户名(上面在主库创建的)

C. master_password : 访问主库进行主从复制的用户名对应的密码

D. master_log_file : 从哪个日志文件开始同步(上述查询master状态中展示的有)

E. master_log_pos : 从指定日志文件的哪个位置开始同步(上述查询master状态中展示的有)

然后通过状态信息中的 Slave_IO_running 和 Slave_SQL_running 可以看出主从同步是否就绪，如果这两个参数全为Yes，表示主从同步已经配置完成。

若为Slave_IO_Running: no/connecting
Slave_SQL_Running: yes

/var/lib/mysql/auto.cnf 这个目录里的server_id 需要改变一下------把最后0 随便设置一个 1 数字就好（最后一个0）其中有克隆虚拟机的原因

Slave_IO_Running: no/connecting

Slave_SQL_Running: No
1.程序可能在slave上进行了写操作

2.也可能是slave机器重起后，事务回滚造成的.

一般是事务回滚造成的：
解决办法：
mysql> stop slave ;
mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
mysql> start slave ;

然后连图形化数据库界面

去试试创建数据库和表，添加表内数据是否同步

读写分离

面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说，将数据库拆分为主库和从库，主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效的避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善。

通过读写分离,就可以降低单台数据库的访问压力, 提高访问效率，也可以避免单机故障。

主从复制的结构，我们已经完成了，在项目中，通过java代码来完成读写分离，在执行select的时候查询从库，在执行insert、update、delete的时候操作主库，我们就需要一个新的技术 ShardingJDBC。

Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。

Sharding-JDBC具有以下几个特点：

1). 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

2). 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

3). 支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92标准的数据库。

依赖：
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

在application.yml中增加数据源的配置

spring:
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.*.*:3306/**?characterEncoding=utf-8&useSSL=false
        username:****
        password: ****
      # 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.*.*:3306/**?characterEncoding=utf-8&useSSL=false
        username: ****
        password: ****
    masterslave:
      # 读写分离配置
      load-balance-algorithm-type: round_robin #轮询
      # 最终的数据源名称
      name: dataSource
      # 主库数据源名称
      master-data-source-name: master
      # 从库数据源名称列表，多个逗号分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #开启SQL显示，默认false
 main:
    allow-bean-definition-overriding: true

注：*为自己的配置内容

青樖

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
主从同步步骤读写分离+自遇错误分享

存在的必要MySQL服务器只有一台，那么就可能会存在如下问题1).读和写所有压力都由一台数据库承担，压力大2).数据库服务器磁盘损坏则数据丢失，单点故障解决方案准备两台MySQL，一台主(Master)服务器，一台从(Slave)服务器，主库的数据变更，需要同步到从库中(主从复制)。而用户在访问我们项目时，如果是写操作(insert、update、delete)，则直接操作主库；功能。就是一台或多台MySQL数据库（slave，即）从另一台MySQL数据库（master，即的数据和和。...
复制链接

扫一扫