第六章 MySQL 日志管理

最新推荐文章于 2022-03-11 21:02:51 发布
最新推荐文章于 2022-03-11 21:02:51 发布
阅读量172 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45367149/article/details/103137232
版权
1. 通用日志 **

  • 作用 : 记录MySQL发生过的所有命令. 一般可以用作审计.

  • 1.1 配置

    general_log=ON                                  
general_log_file=/data/mysql/data/db01.log
2. 错误日志
  • 作用: 记录启动\关闭\日常运行过程中,状态信息,警告,错误

    • 2.2 配置

      默认就是开启的:  /数据路径下/主机名.err
手工设定:
vim /etc/my.cnf
log_error=/var/log/mysql.log
log_timestamps=system
重启生效
show variables like 'log_error';

    • 2.3 如何查看?
      perror 报错号获取精确错误信息
      关注 日志中[ERROR],上下文

3. 二进制日志
  • 作用:(1)备份恢复必须依赖二进制日志 (2)主从环境必须依赖二进制日志

    • 3.1 配置

      注意：MySQL(5.7)默认是没有开启二进制日志的。
基础参数查看:
开关:
[(none)]>select @@log_bin;
日志路径及名字
[(none)]>select @@log_bin_basename;
server id:
[(none)]>select @@server_id;
二进制日志格式:
[(none)]>select @@binlog_format;
双一标准之二:在事务提交时,立即刷新binlog到磁盘
[(none)]>select @@sync_binlog;
#### 创建日志目录
mkdir /data/binlog
chown -R mysql.mysql /data/binlog
#### 修改配置文件
vim /etc/my.cnf
server_id=6                     ----->5.6中，单机可以不需要此参数              
log_bin=/data/binlog/mysql-bin
binlog_format=row
#### 重启数据库生效
[root@db01 mysql]# /etc/init.d/mysqld restart

    • 3.2 binlog

      • 日志记录格式
        DDL ：原封不动的记录当前DDL(statement语句方式)。
        DCL ：原封不动的记录当前DCL(statement语句方式)。
        DML ：只记录已经提交的事务DML
      • DML三种记录方式
        • binlog_format参数控制

          （1）statement（5.6默认）SBR(statement based replication) ：语句模式.执行什么就记录什么
          （2）ROW(5.7 默认值)RBR(ROW based replication) ：行模式. 记录数据行的变化.
          （3）mixed（混合）MBR(mixed based replication)模式 ：混合模式.自动判断用什么方式记录

    • SBR与RBR模式的对比
      SBR: 日志量少,可读性强. 有可能出现记录错误.
      RBR: 日志量大,可读性弱. 记录更严谨.

    • 3.3 事件(events)

      • 事件简介
        binlog中最小的记录单元是事件(event).
        对于DDL,DCL,一个语句就是一个event
        对于DML语句来讲:只记录已提交的事务。

    • 3.4 事件的组成

      • 三部分构成:
        (1) 事件的开始标识
        (2) 事件内容
        (3) 事件的结束标识
        Position: 某个事件在binlog中的相对位置号,为了方便我们截取事件

    • 2.5 二进制日志管理

      #### 查看binlog状态
mysql> show variables like '%log_bin%';
#### 二进制日志基本信息查看
mysql> show binary logs;
mysql> show master status ;
#### 二进制日志事件查看(events)
mysql> show binlog events in 'mysql-bin.000002';

Log_name：binlog文件名
Pos：开始的position    *****
Event_type：事件类型
Format_desc：格式描述，每一个日志文件的第一个事件，多用户没有意义，MySQL识别binlog必要信息
Server_id：mysql服务号标识
End_log_pos：事件的结束位置号 *****
Info：事件内容*****

[root@db01 /data/binlog]# mysql -uroot -p123 -e "show binlog events in 'mysql-bin.000002' "|grep drop 
#### 二进制日志内容详细查看
[root@db01 /data/binlog]# mysqlbinlog /data/binlog/mysql-bin.000002
[root@db01 /data/binlog]# mysqlbinlog --base64-output=decode-rows -vvv /data/binlog/mysql-bin.000002 |grep -v SET 
[root@db01 /data/binlog]# mysqlbinlog -d xxx  /data/binlog/mysql-bin.000002 |grep -v SET

    • 2.5 二进制日志截取及数据恢复

      思路: 
1. 分析日志: 得到截取日志起点和终点.
mysql> show binlog events in 'mysql-bin.000002';
起点:   找到建库的位置 : 219 
终点:   删除之前位置点 : 787
2. 进行截取 
mysqlbinlog --start-position=219 --stop-position=787 /data/binlog/mysql-bin.000002 >/tmp/binlog.sql
3. 恢复日志
mysql> set sql_log_bin=0;    ----> 临时binlog日志记录
mysql> source /tmp/binlog.sql;
mysql> set sql_log_bin=1;  
##### 需要的日志在多个日志文件怎么截取?
方法1:使用GTID
方法2 : --start-datetime=xxxx     --stop-datetime=xxxxx    file1  file >aa.sql 
##### 以上案例,如果xxx库在2年前创建的,怎么恢复?
最近的一次全备+备份之后一直到误删除之前的所有日志
full+binlog
4. 基于GTID方式记录的二进制日志管理

  • 4.1 GTID介绍

    从MySQL 5.6 版,加入的新特性.唯一编号,用来标识每一个二进制日志"事务".
    事务1: begin; dml1;dml2;commit; 会产生一个GTID编号.
    事务2: DDL或者DCL,一个event就是一个事务.会产生一个GTID编号.

  • 4.2 GTID 编号格式

    server_uuid:TID
[root@db01 /data/mysql/data]# cat auto.cnf 
[auto]
server-uuid=79f1839c-0439-11ea-83bb-000c29d354c0

  • 4.3 GTID开启

    gtid_mode=ON 
enforce_gtid_consistency=ON
log_slave_updates=ON

  • 4.4 gtid模式日志管理

    (1) 查看事件
mysql> show binlog events in 'mysql-bin.000003';
SET @@SESSION.GTID_NEXT= '79f1839c-0439-11ea-83bb-000c29d354c0:1'
(2) 截取日志	
mysqlbinlog --include-gtids='79f1839c-0439-11ea-83bb-000c29d354c0:1-3' 	 --exclude-gtids='79f1839c-0439-11ea-83bb-000c29d354c0:2' --skip-gtids

注意: 开了gtid模式 ,一定要添加–skip-gtids ,因为mysql会自动检查gtid幂等性

  • 4.5 二进制日志的其他操作

    • 4.5.1 二进制日志滚动

      (1) 重启MySQL
(2) flush logs;
(3) max_binlog_size=1073741824  达到1G

每天备份日志: flush logs; – >cp

  • 4.5.2 二进制日志删除

    (1) 配置自动删除
mysql> select @@expire_logs_days;
至少预留一轮全备周期+1的过期时间
生产一般建议保留至少两轮全备周期+1的时间
(2) 手工删除 
Examples:
PURGE BINARY LOGS TO 'mysql-bin.010';
PURGE BINARY LOGS BEFORE '2008-04-02 22:46:26';
(3) 全部删除
mysql> reset master;
注意:不要手工 rm binlog文件
5. 慢日志 ******

  • 作用: 记录MySQL运行过程中执行较慢的语句. 辅助管理员优化语句.

    数据库较慢的场景: 
1. 应急性
 show processlist;
 ----->  select   
 ----->  explain   
2. 持续性
 slowlog ---> SQL 
 ---->    select 
 ---->   explain

  • 5.1 配置

    mysql> show variables like '%slow%';
slow_query_log=ON
slow_query_log_file=/data/mysql/db01-slow.log 
long_query_time=0.1  
log_queries_not_using_indexes

  • 5.2 模拟慢语句,分析

    [root@db01 /data/mysql]# mysqldumpslow -s c -t 10 /data/mysql/db01-slow.log

  • 5.3 推荐工具:

pt-query-digest + Anemometer
地址:https://www.cnblogs.com/xuanzhi201111/p/4128894.html
pt-query-digest /data/mysql/db01-slow.log
ELK

飞鸡起飞
关注
MySQL日志管理
一名小白的博客
06-04 194
一、MySQL分为四种日志 存放位置一般放在数据目录下 1、错误日志：记录 MySQL数据库的启动、运行和关闭过程 /mysql/data/mysql.err 主机名.err mysql> show variables like 'log_error'; 查看错误日志存在的绝对路径 +---------------+-----------------------+ | Varia...
第16章MySQL日志管理.docx
06-11
MySQL日志管理是数据库系统维护和故障排查的重要组成部分。它主要涉及两大类日志：一类是二进制日志（Binary Log），另一类是错误日志（Error Log）。此外，还包括通用查询日志（General Query Log）和慢查询日志...
项目实战6—Mysql实现企业级日志管理、备份与恢复实战
weixin_30662849的博客
12-08 171
Mysql实现企业级日志管理、备份与恢复实战 　　环境背景：随着业务的发展，公司业务和规模不断扩大，网站积累了大量的用户信息和数据，对于一家互联网公司来说，用户和业务数据是根基。一旦公司的数据错乱或者丢失，对于互联网公司而言就等于说是灭顶之灾，为防止系统出现操作失误或系统故障导致数据丢失，公司要求加强用户数据的可靠性，要求全面加强数据层面备份，并能在故障发生时第一时间恢复。 总架构图...
MySQL 案例实战--MySQL 数据库 日志管理
XY0918ZWQ的博客
01-29 356
MySQL 数据库 日志管理前言一、错误日志二、查询日志三、慢查询日志四、二进制日志 前言 本环境是基于 Centos 7.8 系统构建MySQL-5.7.14 具体构建，请参考 MySQL-5.7.14 环境构建 MySQL 日志 日志文件 记录文件中的信息类型 错误日志 记录启动、运行、或停止时出现的问题 查询日志 记录建立的客户端连接和执行的语句 二进制日志 记录所有更改数据语句。主要用于复制和即时点恢复 慢日志 记录所有执行时间超过log_query_time秒的所有查
实验之MySQL日志备份与恢复
diemangfeng5720的博客
11-25 273
日志是mysql数据库的重要组成部分。日志文件中记录着mysql数据库运行期间发生的变化；也就是说用来记录mysql数据库的客户端连接状况、SQL语句的执行情况和错误信息等。当数据库遭到意外的损坏时，可以通过日志查看文件出错的原因，并且可以通过日志文件进行数据恢复。下面是对MYSQL日志和数据恢复的简单介绍。 一、MySQL日志 主要包含：错误日志、查询日志、慢查询日志...
数据库上机实验十（权限管理与日志管理）
江南大学-信息与计算科学
12-31 1847
权限管理与日志管理
第15章 MySQL日志PPT
最新发布
01-03
MySQL日志是数据库管理系统中至关重要的一部分，它记录了数据库的各种操作，包括查询、更新、插入和删除等。日志的存在确保了数据的安全性、可恢复性和性能优化。在本章中，我们将深入探讨MySQL的日志系统，主要包括...
mysql日志管理、备份与恢复.md
08-19
### MySQL 日志管理、备份与恢复 #### 一、MySQL 常用日志 **1. 概述** 在 MySQL 数据库系统中，日志文件对于实现有效的备份与恢复策略至关重要。通过日志文件，我们可以追踪数据变化、诊断问题，并在必要时恢复...
第13章MySQL权限管理.docx
06-14
5. **监控MySQL日志**：利用通用查询日志等工具监控数据库活动。 #### 八、忘记密码后的处理方法 如果你忘记了MySQL root账户的密码，可以通过以下步骤重置： 1. **停止MySQL服务**：在Windows环境下使用`...
第8章MySQL数据操作管理.docx
06-11
本章主要探讨的是MySQL数据操作管理，涉及到了数据库中的基本操作，如插入（INSERT）、更新（UPDATE）、删除（DELETE）以及特殊操作如替换（REPLACE）和截断（TRUNCATE）。这些是MySQL数据库管理系统中进行数据管理...
《数据库上机》实验报告
03-17
文档有数据库文件，基本涵盖所有基本sql操作，看完之后sql基本查询都能学会了
MySQL的日志管理
ljh451321的博客
03-11 646
文章目录MySQL日志管理一、日志类型二、慢查询日志1、作用2、慢查询定义3、启动慢查询日志三、二进制日志1、作用2、启用二进制日志3、二进制日志格式4、查看二进制日志(1)、查看所有内容(2)、按时间查找二进制日志(3)、按位置查找二进制日志(4)、在MySQL中查看当前正在使用的二进制日志、最后一个事件的结束点(5)、查看所有的二进制日志、大小(6)、查看二进制日志文件中的事件(7)、二进制日志滚动 MySQL日志管理 一、日志类型 错误日志 /var/log/mysqld.log 慢查询日志
MySQL-日志管理
wwj0407的博客
08-14 137
1、错误日志 1.1 作用 记录MySQL启动及工作过程中，状态、报错、警告。 1.2 怎么设置？ 1> 修改配置文件，并重启MySQL -- 配置日志 vim /etc/my.cnf log_error=/data/3306/data/mysql.log #这里的路径和文件名称可以随便定义 -- 重启MySQL生效 /etc/init.d/mysqld resta...
MySQL 中继日志
一直被模仿，从未被超越
09-09 8132
什么是中继日志 从服务器I/O线程将主服务器的二进制日志读取过来记录到从服务器本地文件，然后从服务器SQL线程会读取relay-log日志的内容并应用到从服务器，从而使从服务器和主服务器的数据保持一致 show variables like '%relay%'; #结果 +---------------------------+-------------------------------...
mysql上机实验报告3,数据库上机实验报告
weixin_29032489的博客
03-17 346
1、 数据表的建立基本表《简单的》带有主键带有外码约束的(外码来自其他表或者本表)2、 数据表的修改添加删除列修改列属性类型添加删除约束(约束名)元组的添加，修改，删除删除数据表试验过程1、create table student(sno char(9) primary key , /*sno是主码 列级完整性约束条件*/sname char(20) unique, /*sname取唯一值*/ss...
MySQL 5.7 用户与日志管理
weixin_34087503的博客
08-30 153
说明：数据库是信息系统中非常重要的一个环节，合理高效地对它进行管理是很重要的工作。通常是由总管理员创建不同的管理账户，然后分配不同的操作权限，把这些账户交给相应的管理人员使用。由于日志文件是掌握数据库运行状态的重要参考，因此日志文件的维护也有十分重要的意义。接下来，就做一些有关用户与日志的操作。.. 实验环境：装有数据库5.7版本的虚拟机一台.. 1 . 进入数据库，查看用户想要查看用户，须先进入...
第七章 mysql日志管理
weixin_44990801的博客
09-24 156
image.png 1 错误日志 ：启动，停止，关闭失败报错。rpm安装日志位置 /var/log/mysqld.log #默认开启 2 通用查询日志：所有的查询都记下来。 #默认关闭，一般不开启 3 二进制日志(bin log)：实现备份，增量备份。只记录改变数据，除了select都记。 4 中继日志(Relay log)：读取主服务器的binlog，在slave机器本地回放。保持与主服务器数据一致。 5 slow log：慢查询日志，指导调优，定义某一个查询语句，执行时间过长，通过日志提供...
MySQL学习【第12篇】MySQL日志管理
空青、
03-28 454
一、MySQL日志简介 日志文件 选项 文件名/表名称 程序 错误 --log-error host_name.err N/A 常规 --general_log host_name.log general_log N/A 慢速查询 --slow_query_log --long_query_time host_name...
MySQL日志
xiatian_sun的博客
11-16 523
日志文件对于一个服务器来说是非常重要的，它记录着服务器的运行信息，许多操作都会写日到日志文件，通过日志文件可以监视服务器的运行状态及查看服务器的性能，还能对服务器进行排错与故障处理，MySQl中有六种不同类型的日志。 一、日志种类 ———–> 1，错误日志：记录启动、运行或停止时出现的问题，一般也会记录警告信息。 ———–> 2，一般查询日志：记录建立的客户端连接和执行的语句。 ———–>
MySQL管理员指南：优化、备份与安全性
- **第6章：MySQL索引类型** 介绍了索引的概念、分类，以及如何创建和优化索引来提高查询性能。 - **第7章：存储过程、触发器和事件** 解析了这些高级特性，用于实现复杂的业务逻辑和自动化任务。 - **第8章：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值