笔记-Linux部署运维-MySQL-主从复制和读写分离

已于 2024-01-18 19:42:29 修改
阅读量1.1k 收藏 27
点赞数 24
分类专栏： 数字游鱼-Linux部署运维 文章标签： mysql adb 数据库
于 2024-01-12 17:44:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacos/article/details/135558779
版权

在高访问的业务场景中，读操作远比写操作多，如果读请求和写请求都在一个库上，那么这个库的压力是巨大的，这时，可以将大多数读请求分担到多个从库上，进而极大降低主库压力，同时也能提高整个数据库负载能力。

优缺点分析

主从架构的优势在于，在读操作远远多于写的情况下，从库能够极大减轻主库的压力，同时能够极大提高整个数据库集群的负载能力；当然，这种架构也存在一个十分明显的缺点，那就是主从延迟，尤其在高并发下往主库写入大量数据的时候，延迟会十分严重，在那些对延迟要切比较严格的场景，需要慎重使用。

MySQL主从复制

binlog 日志，是MySQL的二进制日志，可以说是MySQL最重要的日志，它以事件形式记录了所有的DDL和DML（除了数据查询语句）语句，还包含语句执行所消耗的时间，一般来说，开启二进制日志会有1%的性能损耗。它有两个主要使用场景：

  • 使用mysqlbinlog工具来实现数据恢复。
  • 主服务器开启二进制日志，以实现主从复制。

binlog日志包括两个部分的文件，二进制日志索引文件（文件后缀名为 .index）用于记录所有的二进制文件；另一个是二进制日志文件（文件名后缀为 .0000*）记录数据库所有的DDL和DML语句事件。开启binlog日志只需要修改MySQL配置文件 my.cnf ：

# /usr/local/mysql/etc/my.cnf
# 在 [mysqld] 区块添加如下配置
# 值 mysql-bin 是日志的基本名或前缀名
log-bin=mysql-bin

保存后重启mysqld服务使配置生效，登录mysql服务器，使用 show variables like 'log_%' 命令查看配置是否生效：

mysql> show variables like 'log_%'; 
+----------------------------------------+---------------------------------------+
| Variable_name                          | Value                                 |
+----------------------------------------+---------------------------------------+
| log_bin                                | ON                                    | 
| log_bin_basename                       | /usr/local/mysql/data/mysql-bin       |
| log_bin_index                          | /usr/local/mysql/data/mysql-bin.index |
| log_bin_trust_function_creators        | OFF                                   |
| log_bin_use_v1_row_events              | OFF                                   |
| log_error                              | /usr/local/mysql/data/martin.err      |
| log_output                             | FILE                                  |
| log_queries_not_using_indexes          | OFF                                   |
| log_slave_updates                      | OFF                                   |
| log_slow_admin_statements              | OFF                                   |
| log_slow_slave_statements              | OFF                                   |
| log_throttle_queries_not_using_indexes | 0                                     |
| log_warnings                           | 1                                     |
+----------------------------------------+---------------------------------------+

其中 log_bin 表示是否开启二进制日志，ON表示开启；log_bin_basename 表示二进制日志文件的基本名或前缀名；log_bin_index表示二进制日志索引文件的位置。

可以用MySQL自带命令操作binlog日志，常用的binlog日志操作命令：

# 查看所有的binlog日志列表
mysql> show master logs
# 查看master状态，即最新一个binlog日志的编号名称，及其最后一个操作事件pos结束点的值
mysql> show master status
# 刷新binlog日志，自此刻开始产生一个新编号的binlog日志
mysql> flush logs
# 清空所有binlog日志
mysql> reset master

binlog是二进制文件，普通的文件查看器都无法打开，可以MySQL自带的mysqlbinlog命令查看，但更推荐使用MySQL的语句show binlog events查看，该命令的常见用法：

# 最简单的使用，显示全部binlog日志
mysql> show binlog events
# 显示指定binlog文件中记录
mysql> show binlog events in 'mysql-bin.000001'
# 指定从哪个pos点开始查起
mysql> show binlog events from 123
# 设置偏移量和查询条数（偏移量2，条数10）
mysql> show binlog events limit 2,10

配置master

对master的配置主要分为两步，一是修改配置文件，开启二进制日志，重启使配置生效，常用的配置如下：

# 开启binlog日志
log-bin=mysql-bin
# 设置不记录的库
binlog-ignore-db=mysql
# 设置需要记录的库
binlog-do-db=mydb
# 节点ID，确保唯一
server-id=1
# 二进制文件的格式
binlog_format=mixed

二是添加一个用于slave节点登录的用户，使用以下命令创建用户：

# 创建用户
CREATE USER 'slave_user'@'%' IDENTIFIED BY 'slavepasswd'
# 为该用户赋予权力
GRANT replication SLAVE ON *.* TO 'slave_user'@'%'
# 刷新权限信息
FLUSH PRIVILEGES

以上便完成了master节点的配置，但需要使用如下命令查看配置是否生效：

# 查看主节点的状态
show master status
# 命令响应内容举例如下
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000005 |     120  |              | mysql            |                   |
+------------------+----------+--------------+------------------+-------------------+
# 响应值可以在配置从节点时用到

配置slave

对slave的配置主要分为两步，第一步是修改配置文件，重启使配置生效，常用配置为：

# 节点id，确保唯一
server-id=2
# 开启二进制日志
log-bin=mysql-bin
# 开启中继日志
relay-log=mysql-relay-log
# 设置不复制的表
replicate-wild-ignore-table=mysql.%
# 设置不复制的库
replicate-ignore-db=mysql
# 设置需要复制的库
replicate-do-db=mydb

第二步是通过MySQL命令配置master节点信息：

# 配置master节点信息
mysql> change master to 
MASTER_HOST = 'master节点的IP',
MASTER_USER = 'master中slave账户',
MASTER_PASSWORD = 'master中slave账户的密码',
MASTER_PORT = 'master节点的端口',
MASTER_LOG_FILE = 'mysql-bin.000005',
MASTER_LOG_POS = 120,
MASTER_RETRY_COUNT = 60,
MASTER_HEARTBEAT_PERIOD = 10000;
### 上命令相关参数解析
### MASTER_LOG_FILE 与 master 节点的 show master status 显示结果的 File 保持一致
### MASTER_LOG_POS 与 master 节点的 show master status 显示结果的 Position 保持一致

# 启动 slave 节点
mysql> start slave
# 检查从机状态
mysql> show slave status
# 关闭 slave 节点
mysql> stop slave

需要注意的是，如果master服务器中已存在应用数据，需要进行以下处理：

# 锁定表，防止有数据写入
mysql> flush tables with read lock
# 复制master的数据至slave中
# 取消锁定
mysql> unlock tables

MySQL读写分离

读写分离的实现一般是通过中间件完成的，常用的读写分离中间件有很多，此处以其中的MyCat为例。

安装JDK

Mycat是基于Java运行的，因此需要安装JDK环境，centos上的安装过程如下：

# 安装JDK
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
# 检测安装是否成功
java -version
# 配置环境变量
vi /etc/profile
# 在vi的编辑模式下，输入如下内容：
JAVA_HOME=/user/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el7_9.x86_64
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME CLASSPATH PATH
# 保存上述内容，使用source命令使配置生效
source /etc/profile
# 验证环境变量是否配置成功
echo $JAVA_PATH
echo $PATH
echo $CLASSPATH

安装Mycat

先从mycat官网下载mycat的安装包，官网地址为 dl.mycat.org.cn ，然后解压。可以使用如下命令完成这些操作

# 下载mycat
wget http://dl.mycat.org.cn/Mycat-server-1.4-beta-20150604171601-linux.tar.gz
# 解压并安装mycat
tar -vxf Mycat-server-1.4-beta-20150604171601-linux.tar.gz -C /usr/local/

配置Mycat

mycat的配置文件位于安装目录下的conf目录中，主要的配置文件有：

server.xml

用于定义用户及系统相关变量，其中user标签用于配置用户节点，主要的属性为：

  1. name ：登录的用户名
  2. password ：登录的密码
  3. schemas ：逻辑库名称，并非真实库名称，而是schema.xml中文件中的schema标签定义的逻辑库名称。
<user name="root" defaultAccount="true">
	<property name="password">123456</property>
    <property name="schemas">dbtest</property>
    <property name="readOnly">false</property>
</user>
schema.xml

定义逻辑库、表、分片节点等内容，常用的配置有：

  1. schema ：逻辑库配置，其常用的属性有：
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!-- 逻辑库配置 -->
	<schema name="dbtest" checkSQLschema="false" sqlMaxLimit="1000" dataNode="db_node">	
        <!-- 逻辑表配置（非必须） -->
    	<table name="tbtest1" dataNode="dn1,dn2"></table>
    </schema>
</mycat:schema>

参数解析：

参数解析
checkSQLschema是否开启SQL的库检查机制，若开启，会去掉传入SQL中表名前的数据库名称
sqlMaxLimit限制响应的数据条数，相当于在SQL语句末尾添加 limit 语句
dataNode定义使用的dataNode节点的名称
  1. dataNode ：数据节点配置，定义了逻辑数据库对应的物理数据库节点，配置举例如下：
<mycat:schema xmlns:mycat="http://io.mycat/">
	<dataNode name="db_node" dataHost="db_host" database="mydb"/>
</mycat:schema>

参数解析：

参数解析
name名称，唯一标识
dataHost指定host，属性值是引用dataHost标签上定义的name属性
database真实库名称
  1. dataHost ：数据主机配置，定义了具体的数据库实例，读写分离配置和心跳语句，配置举例如下：
<dataHost name="db_host" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
    <!-- 心跳语句 -->
	<heartbeat>select user()</heartbeat>
    <!-- 读写分离配置 -->
    <writeHost host="host1" url="localhost:3306" user="root" password="123456">
    	<readHost host="host2" url="localhost:3307" user="root" password="123456" />
    </writeHost>
</dataHost>

参数解析

标签参数解析
dataHostname名称，唯一标识
dataHostmaxCon连接池的实例的最大数量
dataHostminCon连接池的实例的最小数量
dataHostbalance负载均衡类型
0 -> 不开启读写分离机制；
1 -> 除了第一个writeHost外，其他全部readHost和writeHost都参与select的负载均衡，也就是说，第一个writeHost只负责写不负责读；
2 -> select请求会随机发送到任意一个writeHost或readHost；
3 -> select请求只发送至readHost；
dataHostwriteType负载均衡写操作类型，取值有2种：
0 -> 所有写操作发送到配置的第一个writeHost，第一个挂了，则切换到还生存的第二个writeHost；重启后以重启前的writeHost为准，切换日志记录在配置文件 dnindex.properties中；
1 -> 所有写操作都随机发送到配置的writeHost中，1.5 以后废弃不推荐；
dataHostdbType指定后端连接的数据库类型，目前支持 mysql、mongodb、oracle、spark等
dataHostdbDriver指定使用的驱动类型，目前可选值有：native和JDBC。native采用二进制的mysql协议，目前仅支持mysql和maridb，其他类型的数据库则需要JDBC驱动来支持。
dataHostswitchType切换类型，决定切换机制，可选值有：
-1 -> 不自动切换
0 -> 默认值，自动切换
1 -> 基于主从同步的状态决定是否切换，心跳语句是 show slave status
2 -> 基于MySQL galary cluster的切换机制，适合集群。
heartbeat该标签用于指定心跳语句;
writeHosthost名字，唯一标识
writeHosturl物理主机的URL，带端口；
writeHostuser物理数据库登录用户名
writeHostpassword物理数据库登录密码

启动mycat

一般采用两种方式启动mycat，一种是控制台启动，在安装目录的bin下使用命令 ./mycat console ，这种方式可以第一时间开到启动日志，方便定位问题；第二种是后台启动，在安装目录的bin下使用命令 ./mycat start命令实现。

避坑指南

问题描述使用mysql客户端连接mycat时，连接失败，报错：access denied for user xxx
原因分析这是由于使用的MySQL客户端是8以上的版本，而mycat只支持 5.x 版本的登录方式
解决方案使用5.x版本的MySQL客户端进行连接
问题描述使用Navicat连接Mycat时，能够建立连接，但打开连接时报错：No MYCAT database selected
原因分析navicat对Mycat的兼容性较弱
解决方案暂无
卡bug的鱼
关注
  • 24
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Linux-mysql 主从复制与读写分离
weixin_73320294的博客
10-08 277
mysql-Linux 主从复制 读写分离
MySQL的主从复制与读写分离
weixin_50945964的博客
12-01 125
简介 在实际的生产环境中，如果对mysql数据库读和写都在一台数据库服务器中操作，无论是在安全性，高可用性还是高并发等各方面都是不能满足实际需求的。今天我们将首先讲解MySQL主从复制和Mysql读写分离的原理，然后介绍如何配置MySQL主从复制和MySQL读写分离。 结构图 一. mysql主从复制读写分离 1.MySQL主从复制的作用和原理 1）Mysql主从复制的作用 保证mysql数据的可靠性和稳定性 避免单点故障 1）MySQL主从复制特点 可靠性强 稳定性强 避免数据丢失 3）MySQL主从复
Linux学习笔记--MySQL主从复制与读写分离
小吕学Linux的博客
07-10 373
愿你三冬暖 愿你遇良人。 1>>>>:先来了解一下MySQL主从复制原理： 在实际生产环境中，如果对MySQL数据库的读写都在一台数据库服务器中操作，无论是在安全性，高可用性还是高并发等各方面都是不能满足实际需求的。因此，一般都是通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。 MySQL主从复制原理：（先部署主从复制，在此基础上进行读写...
php mysql主从分离_MySQL主从复制与读写分离
weixin_31064267的博客
01-21 207
MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践Mysql作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中，由单台Mysql作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。因此，一般来说都是通过 主从复制(Master-Slave)的方式来同步数据，再通过读写分离(My...
linux运维学习笔记：MySQL主从复制原理和实战.pdf
08-18
linux运维学习笔记：MySQL主从复制原理和实战
MySQL笔记-Linux平台中MySQL的启动和关闭
01-19
MySQL的启动有如下的方式： mysql.server start /etc/init.d/mysqld start service mysqld start mysqld --default-file=/u01/mysql3306/my.cnf & mysqld_safe --default=/u01/mysql3306/my.cnf & mysqld_mutil ...
DB2数据库管理最佳实践笔记-10日常运维.pdf
11-18
DB2数据库管理最佳实践笔记-10日常运维.pdf
mycat读写分离详细部署笔记Linux部署.zip
12-10
mycat读写分离详细部署笔记Linux部署，有需要的童鞋下载参考，本人亲自实践并应用于生产环境，有疑问还可联系QQ874794986
mysql的主从复制(同步)基础知识-详细笔记文档总结
07-07
主从服务器读写分离，分担网站压力：实现读写分离，通过在从服务器上仅仅处理用户的 select 查询请求，降低用户查询响应时间及读写同时在主服务器带来的压力，对于更新的数据仍然交给主服务器处理，确保主服务器和从...
在JPA项目启动时新增MySQL字段
VioletKiss
06-18 979
我用的方案1，如果你也是这种项目，那么我也推荐你用方案1，简单粗暴又方便；方案2是问了chatgpt得出来的答案，感觉不错，但是报错了又不想改；不建议使用 schema.sql 和 data.sql 对数据库结构及数据进行初始化，因为在每一次项目启动，这两个文件都必须执行一次，大大减慢了项目的启动速度，替代方案可以是使用 flyway 进行数据库版本控制。
mysqladmin——MySQL Server管理程序（二）
u011565038的博客
06-22 896
mysqladmin是一个命令行工具，用于执行简单的 MySQL 服务器管理任务，如检查服务器的状态、创建和删除数据库、重载权限等。
MySQL-DML-约束
weixin_51788042的博客
06-18 644
创建表时，可以给表的字段添加约束，可以保证数据的完整性、有效性。以上的删除属于DML的方式删除，这种删除的数据是可以通过事务回滚的方式重新恢复的，但是删除的效率较低。另外还有一种删除表中数据的方式，但是这种方式不支持事务，不可以回滚，删了之后数据是永远也找不回来了。email字段设置为唯一性，唯一性的字段值是可以为NULL的。表名后面的小括号当中的字段名如果省略掉，表示自动将所有字段都列出来了，并且字段的顺序和建表时的顺序一致。注意：这个语句删除效率非常高，巨大的表，瞬间干掉所有数据。
Mysql之GROUP BY与PARTITION BY区别
最新发布
m0_51014049的博客
06-22 264
PARTITION BY 是窗口函数的一部分，用于定义窗口（即数据分区），但是它不会改变结果集的行数。PARTITION BY 用于窗口函数内，将结果集划分为几个分区，计算聚合值或其他窗口函数。这个查询会返回每一行，并在每一行中增加一个列 totalAmount，它表示的是该 employee_id 内所有 amount 的总和。结果集：GROUP BY 改变结果集的行数，只返回每组一行。PARTITION BY 用于窗口函数，增加计算列，不改变结果集的结构。
mysql中先进先出的例子
codedadi的博客
06-19 401
在MySQL中，实现"先进先出"（FIFO, First In First Out）的数据结构通常不直接通过数据库的表结构来完成，因为数据库表本身并不保持元素的插入顺序。如果你正在寻找一个更强大、更灵活的队列系统，你可能需要考虑使用如RabbitMQ、Redis、Amazon SQS等专门的队列服务。当你查询数据时，你可以按照时间戳字段进行排序，以获取最早插入的条目。然而，如果你只是想在MySQL中简单地模拟FIFO行为，那么上述带有时间戳的表的方法可能就足够了。-- 查询最早插入的条目。
MySQL中的客户端选项（三）
u011565038的博客
06-18 770
在MySQL中，mysql命令行客户端提供了许多选项，这些选项可以控制客户端的行为和连接参数。
MySQL常见面试题自测
qq_45981373的博客
06-18 1303
提示：READ-UNCOMMITTED(读取未提交)、READ-COMMITTED(读取已提交)、REPEATABLE-READ(可重复读)、SERIALIZABLE(可串⾏化)。定义了四种事务隔离级别，分别是读取未提交读取提交可重复读可串行化。提示：RC（Read Committed，读提交）和 RR（Repeatable Read，可重复读）这两个隔离级别的实现都离不开 MVCC。MVCC就是多版本并发控制，用于实现数据库并发控制的技术。
MySQL-备份+日志：介质故障与数据库恢复
m0_74363339的博客
06-16 985
MySQL-备份+日志：介质故障与数据库恢复 第1关：备份与恢复。第2关：备份+日志：介质故障的发生与数据库的恢复。
MySQL Server和Server启动程序（一）
u011565038的博客
06-17 1166
mysqld，也称为MySQL Server，是一个单线程多任务的程序，它在MySQL安装中执行大部分工作。它不会生成额外的进程。MySQL Server管理对包含数据库和表的MySQL数据目录的访问。数据目录也是其他信息（如日志文件和状态文件）的默认位置。
stm32学习笔记-flash读写程序
08-10
STM32是一款非常流行的嵌入式微控制器系列，它具有强大的性能和丰富的外设资源。在学习STM32时，掌握如何进行Flash读写是非常重要的。 Flash是一种非易失性存储器，可以用来存储程序代码和数据。在STM32中，Flash存储器通常用来存储应用程序代码。下面是一个简单的Flash读写程序的示例： 1.首先，我们需要包含适用于所使用的STM32型号的头文件。例如，对于STM32F4系列，我们需要包含"stm32f4xx.h"。 2.然后，我们需要定义一个指向Flash存储器的指针变量。例如，可以使用如下代码：`uint32_t* flash_address = (uint32_t*)0x08000000;`其中0x08000000是Flash存储器的起始地址。 3.要读取Flash存储器中的数据，我们可以通过以下代码实现：`data = *flash_address;`其中data是一个变量，用于存储读取到的数据。 4.要写入数据到Flash存储器中，我们可以通过以下代码实现：`*flash_address = data;`其中data是要写入的数据。 需要注意的是，STM32的Flash存储器是有写保护机制的，因此在写入数据之前，我们需要禁用写保护。可以使用以下代码禁用写保护：`FLASH->KEYR = 0x45670123; FLASH->KEYR = 0xCDEF89AB;`然后才能进行数据写入。 另外，为了确保数据的完整性，我们可以使用CRC校验来验证Flash存储器中的程序代码的正确性。可以使用库函数来计算校验和，然后将其与预期的校验和进行比较以进行验证。 综上所述，掌握STM32的Flash读写操作对于嵌入式系统的开发非常重要。上述示例代码可以帮助我们快速进行Flash读写操作，同时注意写保护和数据校验可以提高数据的安全性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值