MySQL技术内幕读书笔记(三)——文件

目录

文件

​ 有以下类型文件

  • 参数文件:告诉MYSQL实例启动时在哪里找到数据库文件,并且制定某些初始化参数。
  • 日志文件:用来记录MYSQL实例对某种条件作出响应时写入的文件。
  • socket文件:当用UNIX域套接字方式进行连接时需要的文件。
  • pid文件:MYSQL实例的进程ID文件
  • MySQL表结构文件:用来存放MYSQL表结构定义文件。
  • 存储引擎文件:

参数文件

​ 查找参数文件命令

mysql --help | grep my.cnf

​ 查找参数值命令

SELECT * FROM GLOBAL_VARIABLES WHERE VARIABLE_NAME LIKE 'innodb_buffer%'\G;

# 推荐使用
SHOW VARIABLES LIKE 'innodb_buffer%'\G;

​ 分为两类

  • 动态参数
  • 静态参数

​ 动态参数可以在MYSQL实例运行进行更改,静态参数则是不可更改的。更改动态参数的语法如下:

SET
| [global | session] system_var_name=expr
| [@@global. | @@session. | @@] system_var_name = expr

global:全局的,session:当前会话。说明参数的作用域是不通的。一些demo

# 改变当前会话,不会改变全局
SET read_buffer_size = 524288

# 改变全局会话参数,不会改变当前
SET @@global.read_buffer_size = 1048576;

# 查询当前会话参数
SELECT @@session.read_buffer_size\G;

# 查询全局会话参数
SELECT @@global.read_buffer_size\G;

​ 但是这种修改,并不最终修改配置文件my.cnf的参数值,所以重新启动后,参数还是按照配置文件中的加载。

日志文件

错误日志

​ 记录了所有的错误信息、警告信息。查找错误日志文件位置

SHOW VARIABLES LIKE 'log_error'\G;
慢查询日志

​ 记录查询慢的SQL,可以帮助优化。可以设置记录的阈值,并且打开开关

SHOW VARIABLES LIKE 'long_query_time'\G;
SHOW VARIABLES LIKE 'long_slow_queries'\G;

​ 还有一个参数,如果SQL语句没有使用索引,就会加入到慢查询日志文件(slow log)中。

SHOW VARIABLES LIKE 'log_queries_not_using_indeces'\G;

# 设置每分钟允许记录到slow log的且未使用所以的SQL语句次数,缺省为0,表示没有限制。
SHOW VARIABLES LIKE 'log_throttle_queries_not_using_indexs'

​ 但是如果数据量比较大的话,不好分析分件的话,可以使用MYSQL提供的mysqldumpslow命令

# 从指定文件读取日志
mysqldumpslow nh122-190-slow.log

# 得到执行时间最长的10条SQL语句
mysqldumpslow -s al -n 10 david.log

​ 还可以经过配置,在slow_log中查询慢日志

# 慢日志表名
SHOW CREATE TABLE mysql.show_log\G;

# 默认慢查询输出格式是FILE,则可以设为TABLE
SHOW VARIABLES LIKE 'log_output'\G;
SET GLOBAL log_output='TABLE';
SHOW VARIABLES LIKE 'log_output'\G;

# 查询慢日志
SELECT * FROM mysql.slow_log\G;

​ 但是slow_log默认是用的CSV引擎,可使用MyISAM引擎,提升查询效率(大数据量)

ALTER TABLE mysql.slow_log ENGINE=MyISM;
SET GLOBAL slow_query_log=off;
ALTER TABLE mysql.slow_log ENGINE=MyISM;

​ 通过额外的参数记录相关信息到慢日志表中

​ 通过参数long_query_io将超过指定逻辑IO次数的SQL语句记录到slow log中。默认值是100.

​ 通过参数slow_query_type表示启动slow log的方式

  • 0:不将SQL记录到slow log
  • 1:根据运行时间将SQL语句记录到slow log
  • 2:根据逻辑IO次数将SQL语句记录到slow log
  • 3:根据运行时间以逻辑IO次数将SQL语句记录到slow log
查询日志

​ 记录了所有对MYSQL数据库请求的信息,名字一般为主机名.log

二进制日志(binary log)

​ 记录了对MYSQL数据库执行更改的所有操作。只要操作使得数据库发生变化,就会写入二进制日志。但操作若果未导致数据库发生变化,也有可能写入二进制日志。例如

UPDATE t SET a = 1 WHERE a = 2;
SHOW MASTER STATUS\G;
show binlog events in 'mysqld.000008'\G;

​ 二进制日志主要作用

  • 恢复:某些数据的恢复需要二进制文件。例如,在一个数据库全被文件恢复后,用户可以通过二进制日志进行point-in-time恢复
  • 复制:通过复制和执行二进制日志使一台远程的MYSQL数据库(一般是slave或者standy)与一台MYSQL数据库(master或primary)进行实时同步。
  • 审计:用户可以通过二进制日志中的信息来进行审计,判断是否有对数据库进行注入的攻击。

​ 通过配置惨呼log-bin=[name]可以启动二进制日志。如果不指定name,则默认二进制日志文件名为主机名,后缀名为二进制日志的序列号。

# 查询二进制日志路径
show variablers like 'datadir';

# MYSQL调用LL
system ls -lh /user/local/mysql/data/;

657755-20180710162223681-1227400287.png

bin_log.index为二进制的索引文件,用来存储过往产生的二进制日志序号。

​ 以下配置文件的参数影响着二进制日志记录的信息和行为。

  • max_binlog_size

    ​ 指定单个二进制日志文件的最大值。默认为1G

  • binlog_cache_size

    ​ 当使用事务的表存储引擎(INNODB)时,所有未提交的二进制日志会被记录到一个缓存中去,等待事务提交时直接将缓冲中的二进制日志写入二进制日志文件,而缓冲的大小由binlog_cache_size决定,默认大小为32K。

    ​ 值过大,浪费空间;值太小,会把缓冲中的日志写入到一个临时文件中。

    # 查询设置的缓存大小
    SHOW VARIABLES LIKE 'binlog_cache_size';
    
    # 查看缓冲池状态
    SHOW GLOBAL STATUS LIKE 'binlong_cache%';

    657755-20180710162234511-1403221982.png

  • sync_binlog

    ​ 默认情况下,二进制日志是使用缓冲写的方式,但是数据库宕机时,有可能缺少一部分数据,给恢复和复制带来问题,所以使用参数sync_binlog=[N]表示每写缓冲多少次就同步到磁盘。如果N改成1的话,就是同步写磁盘来写二进制日志。可用性和IO性能需要进行取舍。

    ​ 且当sync_binlog=1时,假设有事务还没commit,也会将二进制日志立即写入磁盘,但是如果发生宕机,二进制日志已经记录了该事务信息,不能回滚。这个问题可以通过将参数innodb_support_xa为1来解决。

  • binlog-do-db

    ​ 表示需要写入哪些库的日志

  • binlog-ignore-db

    ​ 表示需要忽略写入哪些库的日志

  • log-slave-update

    ​ 如果需要搭建master->slave->slave架构的复制,需要设置log-slave-update参数。

  • binlog_format

    ​ 非常重要,影响记录二进制日志的格式。

    • STATEMENT:记录的是日志的逻辑SQL语句。

      ​ 这个对于复制是有一定要求的,如果再主服务器运行rand、uuid等函数,又或者使用触发器等操作,这些都可能会导致主从服务器上表中数据的不一致(not sync)。

      ​ 另一个影响是:导致INNODB使用的默认事务隔离级别是REPEATABLE READ,如果使用READ COMMITTED的事务隔离界别,会出现类似丢失更新的现象,导致主从数据库上的数据不一致。

    • ROW:记录表的行更改情况

      ​ 类似于Oracle的物理Standby,修复了Statement格式下的复制问题,也可以设置INNODB的事务隔离基本为READ COMMITTED,以获取更好的并发性。

    • MIXED:默认采用STATEMENT格式进行二进制日志文件的记录,但是在一些情况下会使用ROW格式。

      • 表的存储引擎为NDB

      • 使用了UUID()、USER()、CURRENT_USER()等不确定函数。

      • 使用了INSERT DELAY语句

      • 使用了用户定义函数(UDF)

      • 使用了临时表(temporary table)

    查看二进制日志文件,只能使用MYSQL提供的工具mysqlbinlog

# 查看STATEMENT格式
mysqlbinlog --start-position=203 test.00004

# 查看ROW格式
mysqlbinlog -vv --start-position=203 test.00004

套接字文件

​ UNIX本地连接MYSQL可以采用UNIX域套接字方式,这种方式需要个套接字文件

pid文件

​ MYSQL实例启动时,会将自己的进程ID写入一个文件中——该文件即为pid文件。文件名由参数pid_file控制。

表结构定义文件

​ MYSQL数据的存储是根据表进行的,每个表都会有与之对应的文件。但不论表采用何种存储引擎,MYSQL都有一个以frm为后缀名的文件,这个文件记录了该表的表结构定义。

​ 也可以用来存放视图的定义。frm文件可以直接查看。

INNODB存储引擎文件

表空间文件

​ innoDB将存储的数据按表空间进行存放。在默认配置下会有一个ibdatal文件,该文件就是默认的表空间文件。可以通过参数innodb_data_file_path对其进行设置

innodb_data_file_path=datafile_spec1[;datafile_spec2]...

#demo 
#文件大小都设置为2000MB,其次ibdata2文件使用完2000M之后可以自动增长。
[mysqld]
innodb_data_file_path = /db/ibdatal:2000M;/dr2/db/ibdata2:2000M:autoextend

​ 使用两个文件组成表空间,若两个文件位于不同的磁盘,可以平均磁盘负载,提高数据的整体性能。设置之后所有数据都会存入共享表空间。如果设置参数innodb_filw_per_table就会给每个表一个独立的存储空间。

SHOW VARIABLES LIKE 'innodb_file_per_table'\G;

​ 注意,即使开启了上述参数,独立的表空间也只存储对应表的数据、索引和插入缓冲BITMAP等信息。其他信息还是放在默认的表空间中。

重做日志文件

​ 默认情况下,INNODB存储引擎的数据目录下会有两个名为ib_logfile0ib_logfile1的文件。称为重做日志文件,在恢复时至关重要。

​ 每个INNODB存储引擎至少有一个重做日志文件组,每个文件组下至少有2个重做日志文件。为了更高的可靠性,用户可以设置多个的镜像日志组,将不同的文件组放在不同的磁盘上,提高重做日志的可用性。

​ 在日志组中每个重做日志文件的大小一致,并以循环写入的方式运行。

657755-20180710172343574-640363851.png

​ 下列参数严重影响重做日志文件的属性。

  • innodb_log_file_size

    ​ 指定每个重做日志文件的大小。

    ​ 设置的过大,在恢复时可能需要很多的时间。设置的过小,一个事务需要多次切换重做日志文件。还可能导致频繁的async checkpoint

  • innodb_log_files_in_group

    ​ 指定日志文件组中重做文件的数量。

  • innodb_mirrored_log_grooups

    ​ 指定日志镜像文件组的数量,默认为1.

  • innodb_log_group_home_dir

    ​ 指定日志文件组所在路径。默认为./,表示在数据库的数据目录下

SHOW VARIABLES LIKE 'innodb%log%'\G;

​ 事务日志和二进制日志的区别:

  • 二进制会记录所有MYSQL数据库有关的日志记录。包括各种引擎的日志,而重做日志只记录有关该存储引擎本身的事务日志。
  • 记录的内容不同。二级制日志文件记录的是关于一个事务的具体操作,即该日志的逻辑日志。而INNODB存储引擎的重做日志文件记录的是关于每个页的更改的物理情况。
  • 写入的时间也不同,二进制日志文件仅在事务提交前进行提交,即只写磁盘一次,不论这时事务多大。而在事务进行的过程中,却不断有重做日志条目被写入到重做日志文件中。

​ INNODB存储引擎中,对于各种不同的操作有着不同的重做日志格式,但是基本格式相同。

1234
reg_log_typespacepage_noredo_log_body

​ 由四个部分组成:

  • redo_log_type占用1字节,表示重做日志的类型。
  • space表示表空间的ID,但采用压缩的方式,因此占用的空间可能小于4字节。
  • page_on表示页的偏移量,同样采用压缩的方式
  • redo_log_body表示每个重做日志的数据部分,恢复时需要调用响应的函数进行解析。

657755-20180710172402619-1984401157.png

​ 从重做日志缓冲往磁盘写入时,是按512字节(一个扇区)的大小进行写入。所以保障写入必定成功。不需要有doublewrite

​ 触发缓冲写入重做日志的条件:

  • 主线程每秒会将重做日志写入磁盘的重做日志中,不论事务是否已经提交。
  • 通过innodb_flush_log_at_trx_commit控制,表示在commit操作时,处理重做日志的方式
    • 0:表示事务提交时,并不将事务的重做日志写入磁盘上的日志文件,而是等待主线程每秒的刷新
    • 1:在执行commit时将重做日志缓冲同步写入磁盘
    • 2:在执行commit时将重做日志缓冲异步写入磁盘,只保证这个动作会发生。

​ 所以,为了保障ACID中的持久性,一般就把这个参数设置为1。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值