本文介绍了如何通过二进制日志进行数据恢复、MySQL主从复制的工作原理、不同日志格式的应用以及如何配置查询日志和慢查询日志。提供了一份系统化的Linux运维学习资料，旨在帮助程序员高效提升技能。
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip1024b （备注运维）
正文
二进制日志（BINLOG）记录了所有的 DDL（数据定义语言：创建数据库…）语句和 DML（数据操纵语言：增删改）语句，但不包括数据查询（SELECT、SHOW）语句。
作用：
- ①. 灾难时的数据恢复；
- 因为二进制日志中记录了数据库、表、以及数据的变更。只需要把这里面的语句再次执行就可以恢复数据了。
- ②. MySQL的主从复制。在MySQL8版本中
- 主从复制底层原理就是基于二进制日志的，具体查看下一章。
mysql8.0版本默认二进制日志是开启着的，涉及到的参数如下：
#先登录mysql
mysql -uroot -p1234
#通过此系统变量来查看二进制日志相关的参数配置
show variables like '%log\_bin%';
参数说明：
-
log_bin：on代表二进制日志是开着的。
-
log_bin_basename：最终生成的二进制日志文件就在
/var/lib/mysql目录下，文件名叫做binlog，但是日志文件有可能有很多，binlog只是它的前缀。- 当前数据库服务器的binlog日志的基础名称(前缀)，具体的binlog文件名需要再该basename的基础上加上编号(编号从000001开始往上自增)。
- 第一个日志文件写满了或者日志的格式变更了之后，它会再次开启一个新的文件来写日志。
-
log_bin_index：binlog的索引文件，里面记录了当前服务器关联的binlog文件有哪些。
测试：
进入到/var/lib/mysql目录查看二进制文件到底有没有·
#不登录mysql执行
cd /var/lib/mysql
#可以看到二进制日志文件和索引文件
ll
#查看索引文件：里面就记录了当前mysql数据库关联的日志文件有哪些
cat binlog.index
1.2.2 格式
MySQL服务器中提供了多种格式来记录二进制日志，具体格式及特点如下：
| 日志格式 | 含义 |
|---|---|
| STATEMENT | 基于SQL语句的日志记录，记录的是SQL语句，对数据进行修改的SQL都会记录在日志文件中。 |
| ROW | 基于行的日志记录，记录的是每一行的数据变更。（默认） |
| MIXED | 混合了STATEMENT和ROW两种格式，默认采用STATEMENT，在某些特殊情况下会自动切换为ROW进行记录。 |
举例：如果我们执行了一条update语句，这条update语句影响的行数是5行
- STATEMENT：记录的就是这条update语句
- ROW ：它记录的是update语句所影响的这五行，每一行的数据内容在变更之前怎么样，在变更之后是什么样。
#先登录mysql
mysql -uroot -p1234
#通过此系统变量，查看当前mysql的版本中默认的日志格式是那个
show variables like '%binlog\_format%';
如果我们需要配置二进制日志的格式，只需要在 /etc/my.cnf 中配置 binlog_format 参数即可。
vim /etc/my.cnf
#在这个文件中添加一行内容
binlog_format=STATEMENT
#重新启动mysql服务
systemctl restart mysqld.service
cd /var/lib/mysql
#可以看到此时重新生成了一个日志文件binlog.000005，原先是1~4。
#因为它的二进制日志格式改了，他不会再往原来的二进制日志文件写入了，而是写到一个新的日志文件中。
ll
再次查看此系统变量，发现日志格式已经修改为STATEMENT
#先登录mysql
mysql -uroot -p1234
#通过此系统变量，查看当前mysql的版本中默认的日志格式是哪个
show variables like '%binlog\_format%';
1.2.3 查看
由于日志是以二进制方式存储的，不能直接读取，需要通过二进制日志查询工具 mysqlbinlog 来查看，具体语法：
#logfilename：二进制文件名
mysqlbinlog [ 参数选项 ] logfilename
参数选项：
-d 指定数据库名称，只列出指定的数据库相关操作。
-o 忽略掉日志中的前n行命令。
-v 将行事件(数据变更)重构为SQL语句
-vv 将行事件(数据变更)重构为SQL语句，并输出注释信息
测试：接下来呢我们就来设置一下这两种日志格式，来看一下它们之间的区别是什么样子的。
情况1：当前的日志格式是row
第一步：以db01数据库下的stu表为例进行演示。
客户端1：就是登录进mysql执行的命令
mysql -uroot -p1234
#当前的日志格式是row
show variables like '%binlog\_format%';
use db01;
#查看db01数据库下面有哪些表
show tables;
#查看stu表下面有哪些数据
select \* from stu;
第二步：执行更新语句
客户端1：
update stu set age = age +1 where id =1;
第三步：查看二进制日志表记录的是什么内容
客户端2：就是没有登录进mysql执行的命令
cd /var/lib/mysql
ll
#因为二进制日志是第一个日志文件写满了之后会开启一个新的日志文件，所以只需要看最后一个日志文件即可。
#二进制文件不能直接查看使用cat显示的是乱码，需要通过mysqlbinlog 指令来查看
#日志里面是以行的格式显示的，所以看不到sql语句，我们还需要使用-v把它重构为sql语句才能看到
#效果：在日志的最后部分可以看到数据执行前后的变化
mysqlbinlog -v binlog.000004;
可以看出日志格式是row，记录的是记录的是每一行的数据变更，在变更之前怎么样，在变更之后是什么样。
情况2：当前的日志格式是STATEMENT
第一步：修改日志格式为STATEMENT，只需要在 /etc/my.cnf 中配置 binlog_format 参数即可
vim /etc/my.cnf
#在这个文件中添加一行内容
binlog_format=STATEMENT
#重新启动mysql服务
systemctl restart mysqld.service
cd /var/lib/mysql
#可以看到此时重新生成了一个日志文件binlog.000005，原先是1~4。
#因为它的二进制日志格式改了，他不会再往原来的二进制日志文件写入了，而是写到一个新的日志文件中。
ll
第二步：再次执行之前的更新语句
mysql -uroot -p1234
use db01;
update stu set age = age +1 where id =1;
第三步：再次查看这个新生成的二进制日志表的内容
#进入到二进制日志文件存放的位置
cd /var/lib/mysql
#可以看到此目录下有这个日志文件
ll
#查看此二进制日志文件
#不需要加-v，因为是STATEMENT它本身记录的就是sql语句
#效果：可以看到此时记录的就是sql语句而不是每一行的数据变化
mysqlbinlog binlog.000005;
1.2.4 删除
对于比较繁忙的业务系统，每天生成的binlog数据巨大，如果长时间不清除，将会占用大量磁盘空间。可以通过以下几种方式清理日志：
| 指令 | 含义 |
|---|---|
reset master | 删除全部 binlog 日志，删除之后，日志编号，将从 binlog.000001重新开始 |
purge master logs to 'binlog.*****' | 删除 ***** 编号之前的所有日志 |
purge master logs before 'yyyy-mm-dd hh24:mi:ss' | 删除日志为 “yyyy-mm-dd hh24:mi:ss” 时间点之前产生的所有日志 |
也可以在mysql的配置文件中配置二进制日志的过期时间，设置了之后，二进制日志过期会自动删除。
mysql -uroot -p1234
#查看系统变量，在mysql命令行中执行
#单位是秒，默认过期时间为30天，到期之后会自动删除
show variables like '%binlog\_expire\_logs\_seconds%';
测试：
客户端1：
mysql -uroot -p1234
#删除000002之前的日志文件,不包含000002
purge master logs to 'binlog.000002';
客户端2：
cd /var/lib/mysql
#可以看到二进制日志文件和索引文件
ll
1.3 查询日志
查询日志中记录了客户端的所有操作语句，而二进制日志不包含查询数据的SQL语句。默认情况下， 查询日志是未开启的。
mysql -uroot -p1234
#检查参数查看开关是否开启
#可以看到默认是关闭的以及日志文件所处位置和文件名
show variables like '%general%';
如果需要开启查询日志，可以修改MySQL的配置文件 /etc/my.cnf 文件，添加如下内容：
vim /etc/my.cnf
#该选项用来开启查询日志 ， 可选值 ： 0 或者 1 ； 0 代表关闭， 1 代表开启
general_log=1
#设置日志的文件名 ， 如果没有指定， 默认的文件名为 host\_name.log
general_log_file=mysql_query.log
#重启mysql服务
systemctl restart mysqld.service
#查看这个目录下是否会生成此日志文件
cd /var/lib/mysql/
ll
开启了查询日志之后，在MySQL的数据存放目录，也就是 /var/lib/mysql/ 目录下就会出现mysql_query.log 文件。之后所有的客户端的增删改查操作都会记录在该日志文件之中，长时间运行后，该日志文件将会非常大。所以用不上此日志文件，我们可以把它关上。
测试：
客户端1：
mysql -uroot -p1234
use db01;
#执行查询操作（前提是已经登录）
select \* from stu;
#执行更新操作
update stu set age=100 where id=7;
客户端2：
cd /var/lib/mysql/
#前提是已经进入到了这个目录，并且目录下有这个文件(上面已经配置过了)
#实时刷新此日志文件尾部的内容（tail查看文件尾部，-f表示实时刷新）
tail -f mysql_query.log
可以看到所有的DDL和DML操作都会在日志表当中记录。
1.4 慢查询日志
慢查询日志记录了所有执行时间超过参数 long_query_time 设置值并且扫描记录数不小于min_examined_row_limit 的所有的SQL语句的日志，默认未开启。long_query_time 默认为10 秒，最小为 0， 精度可以到微秒。
解释：
- 慢查询日志记录了执行效率比较低，执行速度比较慢的sql语句。
- 之前在索引的sql性能分析中讲解过。
如果需要开启慢查询日志，需要在MySQL的配置文件 /etc/my.cnf 中配置如下参数：
#慢查询日志：1代表开启
slow_query_log=1
#执行时间参数：表示执行时间超过2秒就是慢查询日志，此时慢查询日志文件就会记录这条sql.
long_query_time=2
默认情况下，不会记录管理语句，也不会记录不使用索引进行查找的查询。可以使用log_slow_admin_statements和 更改此行为 log_queries_not_using_indexes，如下所述。
解释：
- 通过在
vim /etc/my.cnf配置文件中配置这2个参数，可以改变它的默认行为。 - 如果添加了log_slow_admin_statements =1：表示当我们执行比较慢的管理语句的时候，也会记录在慢查询日志当中。
- 如果添加了log_queries_not_using_indexes = 1：表示如果某一条sql语句，它没有使用索引而造成执行效率比较慢的话，也会记录在慢查询日志当中。
- 通过慢查询日志就可以定位出那些sql执行效率低，从而对这类的sql进行优化。
#记录执行较慢的管理语句
log_slow_admin_statements =1
#记录执行较慢的未使用索引的语句
log_queries_not_using_indexes = 1
上述所有的参数配置完成之后，都需要重新启动MySQL服务器才可以生效。
测试：
客户端1：
mysql -uroot -p1234
#db01数据库下有tb\_sku表，存放了1000万条记录
#电脑太卡，所以我没有创建tb\_sku表,这里不在演示，只显示最终结果
use db01;
#不会记录
select \* from tb_user limit 0,10; -- 这条SQL执行效率比较高, 执行耗时 0.01sec
#前面学习过SQL优化，分页查询越向后效率越低，此时超过2秒，会记录在慢查询日志中
select \* from tb_user limit 1000000,10; -- 由于tb\_sku表中, 预先存入了1000w的记录, count一次,耗时4.71sec（秒）
客户端2：
#配置慢查询日志
vim /etc/my.cnf
#配置的内容
slow_query_log=1
long_query_time=2
# 重启Mysql服务器
systemctl restart mysqld
# 进入到此目录，发现会有一个后缀是-slow.log的日志文件
cd /var/lib/mysql/
ll
#实时刷新文件尾部的位置发现：
#记录了什么时间哪一个用户在哪一个主机上执行了什么样的sql语句
tail -f mysql8-slow.log
2.主从复制
2.1 概述
主从复制是指将主数据库的 DDL 和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。
MySQL支持一台主库同时向多台从库进行复制， 从库同时也可以作为其他从服务器的主库，实现链状复制。
MySQL 复制的优点主要包含以下三个方面：
- 主库出现问题，可以快速切换到从库提供服务。
- 实现读写分离，降低主库的访问压力。
- 增删改操作主库，查询操作从库。
- 可以在从库中执行备份，以避免备份期间影响主库服务。
- 数据备份的时候加上全局锁以防止备份的数据不完整，此时数据库处于只读状态，其它的客户端只能查询不能做增删改。
- 有了主从复制后，可以在从库当中进行备份只需要锁从库就行，主库仍然可以进行增删改等操作。从库加了全局锁后仍然可以查询，只不过在数据备份期间可能存在一定的数据延迟，因为在备份期间从库是不能够执行从主库同步过来的二进制日志的。
- 解决：可以使用single-transaction参数代替加全局锁的方式进行备份，来保证数据的一致性备份------详情查看全局锁。
2.2 原理
MySQL主从复制的核心就是 二进制日志，具体的过程如下：
从上图来看，复制分成三步：
-
Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog 中。
-
从库读取主库的二进制日志文件 Binlog ，写入到从库的
中继日志 Relay Log。- 从库中的IOthread线程：发起一个请求连接主数据库，然后读取主数据库中的 Binlog日志，读取完并返回从库之后，此线程会把Binlog日志写入到从库自身的一份日志（中继日志 Relay Log）中。
-
slave从库重做中继日志中的事件，将改变反映它自己的数据。
- 从库中的SQLthread线程：读取中继日志当中的数据，然后把中继日志当中所记录的数据变化在反映到自身数据库的数据变化，从而保证主从数据的一致。
举例：主库执行insert语句之后写入到二进制日志中，然后被IOthread线程读取过来之后写入到中继日志，那么SQLthread线程读取中继日志就会读取到这条insert语句，那么接下来在从库当中再去执行这条insert，此时就保证了主从数据的一致。
2.3 搭建
2.3.1 环境准备
准备好两台服务器之后，在上述的两台服务器中分别安装好MySQL，并完成基础的初始化准备(安装、 密码配置等操作)工作（注意要关闭防火墙）。 其中：
192.168.10.200作为主服务器master
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
的数据变化在反映到自身数据库的数据变化，从而保证主从数据的一致。
举例：主库执行insert语句之后写入到二进制日志中，然后被IOthread线程读取过来之后写入到中继日志，那么SQLthread线程读取中继日志就会读取到这条insert语句，那么接下来在从库当中再去执行这条insert，此时就保证了主从数据的一致。
2.3 搭建
2.3.1 环境准备
准备好两台服务器之后，在上述的两台服务器中分别安装好MySQL，并完成基础的初始化准备(安装、 密码配置等操作)工作（注意要关闭防火墙）。 其中：
192.168.10.200作为主服务器master
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）
[外链图片转存中…(img-35wOQD6A-1713383277323)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2120
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
