上接Mysql笔记
黑马笔记
日志
运维篇
日志
错误日志
错误日志是 MySQL 中最重要的日志之一,它记录了当 mysqld 启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息 。当数据库出现任何故障导致无法正常使用时,建议首先查看此日志。
该日志是默认开启的,默认存放目录 /var/log/,默认的日志文件名为 mysqld.log 。查看日志位置通过下面语句查询:
show variables like '%log_error%';
二进制日志
二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言)语句,但不包括数据查询(SELECT、SHOW) 语句。
作用:①. 灾难时的数据恢复;②. MySQL的主从复制。在MySQL8版本中,默认二进制日志是开启着的,涉及到的参数如下:
show variables like '%log_bin%';
日志格式
MySQL服务器中提供了多种格式来记录二进制日志,具体格式及特点如下:
日志格式 | 含义 |
---|---|
STATEMENT | 基于SQL语句的日志记录,记录的是SQL语句,对数据进行修改的SQL都会记录在日志文件中。 |
ROW | 基于行的日志记录,记录的是每一行的数据变更。(默认) |
MIXED | 混合了STATEMENT和ROW两种格式,默认采用STATEMENT,在某些特殊情况下会自动切换为ROW进行记录。 |
当前的二进制日志格式可以通过下面的方法查询:
show variables like '%binlog_format%';
可以通过修改
/etc/my.cnf
文件内容修改二进制日志格式:binlog_format=STATEMENT
日志查看
由于日志是以二进制方式存储的,不能直接读取,需要通过二进制日志查询工具 mysqlbinlog 来查看,具体语法:
日志删除
对于比较繁忙的业务系统,每天生成的binlog数据巨大,如果长时间不清除,将会占用大量磁盘空间。可以通过以下几种方式清理日志:
指令 | 含义 |
---|---|
reset master | 删除全部 binlog 日志,删除之后,日志编号,将从 binlog.000001重新开始 |
purge master logs to ‘binlog.******’ | 删除 ****** 编号之前的所有日志 |
purge master logs before ‘yyyy-mm-dd hh24:mi:ss’ | 删除日志为 “yyyy-mm-dd hh24:mi:ss” 之前产生的所有日志 |
也可以在mysql的配置文件中配置二进制日志的过期时间,设置了之后,二进制日志过期会自动删除。
show variables like '%binlog_expire%';
查询日志
查询日志中记录了客户端的所有操作语句,而二进制日志不包含查询数据的SQL语句。默认情况下, 查询日志是未开启 的。如果需要开启查询日志,可以设置以下配置 :
show variables like '%general%';
可以通过修改MySQL的配置文件
/etc/my.cnf
修改查询日志设置#该选项用来开启查询日志, 可选值: 0 或者 1; 0代表关闭,1代表开启 general_log=1 #设置日志的文件名,如果没有指定,默认的文件名为host_name.log general_log_file=mysql_query.log
慢查询日志
见前面内容
主从复制
主从复制是指将主数据库的DDL 和 DML 操作通过二进制日志传到从库服务器中,然后在从库上对这些日志重新执行(也叫重做),从而 使得从库和主库的数据保持同步。
MySQL支持一台主库同时向多台从库进行复制, 从库同时也可以作为其他从服务器的主库,实现链状复制。
原理
- Master 主库在事务提交时,会把数据变更记录在二进制日志文件 Binlog 中。
- 从库IOthread线程读取主库的二进制日志文件 Binlog ,写入到从库的中继日志 Relay Log 。
- 从库SQLthread线程重做中继日志中的事件,将改变反映它自己的数据。
环境搭建
-
服务器准备
准备两台安装好mysql的服务器,分别关闭防火墙:
#关闭防火墙 systemctl stop firewalld systemctl disable firewalld
我本地主库IP:192.168.50.20
我本地从库IP:192.168.50.10
-
数据库配置
-
主库配置
-
修改配置文件
/etc/my.conf
#mysql服务ID,保证整个集群环境中唯一,取值范围: 1-2的32次方-1,默认是1 server-id=1 #是否只读,1代表只读,0代表读写 read-only=0
-
重启MySQL服务器
systemctl restart mysqld
-
登录mysql,创建远程连接的账号,并授予主从复制权限
create user 'remoteuser'@'%' identified with mysql_native_password by '123456@Root'; grant replication slave on *.* to 'remoteuser'@'%'; flush privileges;
-
通过指令,查看二进制日志坐标
show master status;
字段含义说明:
file : 从哪个日志文件开始推送日志文件
position : 从哪个位置开始推送日志
binlog_ignore_db : 指定不需要同步的数据库
-
-
从库配置
-
修改配置文件
/etc/my.cnf
#mysql服务ID,保证整个集群环境中唯一,取值范围: 1-2的32次方-1,默认是1 server-id=2 #是否只读,1代表只读,0代表读写。这个只针对普通用户,对超级管理员无效 read-only=1
-
重启MySQL服务
systemctl restart mysqld
-
登录MySQL,设置主库配置
CHANGE REPLICATION SOURCE TO SOURCE_HOST='192.168.50.20',SOURCE_USER='remoteuser',SOURCE_PASSWORD='123456@Root',SOURCE_LOG_FILE='binlog.000006',SOURCE_LOG_POS=663
如果MySQL版本是8.0.23之前的版本,需要将上面所有的
SOURCE
替换成MASTER
-
开启同步操作
start replica; #8.0.22之后 start slave; #8.0.22之前
-
查看主从复制的状态
start replica status; #8.0.22之后 start slave status; #8.0.22之前
-
-
测试
- 在主库新建数据库,表,并插入数据
- 在从表进行查询,验证是否同步
-
分库分表
问题分析
随着互联网及移动互联网的发展,应用系统的数据量也是成指数式增长,若采用单数据库进行数据存储,存在以下性能瓶颈:
- IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率较低。 请求数据太多,带宽不够,网络IO瓶颈。
- CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源,请求数太多,CPU出现瓶颈。
分库分表的中心思想都是将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。
拆分策略
-
垂直拆分
- 垂直分库:以表为依据,根据业务将不同表拆分到不同库中。
特点:
1. 每个库的表结构都不一样。
2. 每个库的数据也不一样。
3. 所有库的并集是全量数据。
+++
-
垂直分表:以字段为依据,根据字段属性将不同字段拆分到不同表中。
特点:
- 每个表的结构都不一样。
- 每个表的数据也不一样,一般通过一列(主键/外键)关联。
- 所有表的并集是全量数据。
-
水平拆分
-
水平分库
以字段为依据,按照一定策略,将一个库的数据拆分到多个库中。
特点:
- 每个库的表结构都一样。
- 每个库的数据都不一样。
- 所有库的并集是全量数据。
-
水平分表
以字段为依据,按照一定策略,将一个表的数据拆 分到多个表中。
特点:
- .每个表的表结构都一样。
- 每个表的数据都不一样。
- 所有表的并集是全量数据。
-
实现技术
- shardingJDBC:基于AOP原理,在应用程序中对本地执行的SQL进行拦截,解析、改写、路由处理。需要自行编码配置实现,只支持 java语言,性能较高。
- MyCat:数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言,性能不及前者。