我理解的MYISAM引擎之七 check、analyze、optimize、repair 与myisamchk

最新推荐文章于 2021-01-19 04:32:10 发布
最新推荐文章于 2021-01-19 04:32:10 发布
阅读量353 收藏
点赞数
分类专栏： mysql 文章标签： mysql check mysql analyze mysql repair mysql optimize myisamchk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w1346561235/article/details/106472493
版权

 

语句参数作用引擎备注
CHECK TABLEFOR UPGRADE检查升级后的不兼容项MYISAM，INNODB，VIEWa）选项可以叠加使用,从上往下，校验的内容逐渐增多；
b）check table会自动flush table；
c)   check  table如果在innodb上发现了非2级索引的块损坏，会导致mysqld进程崩溃https://bugs.mysql.com/bug.php?id=10132
d)   对于innodb，check table 可以并行读取cluster index，并行读取值为min( innodb_parallel_read_threads setting ,the number of index subtree)
e)   对于MYISAM,check table会更新统计信息，如果没有指定QUICK或者MEDIUM或者EXTEND，默认选项为MEDIUM
f)    验证delete连接的逻辑：MYI文件中的文件从37字节开始的8个字节记录了此表中被标记删除的记录，接下来的8个字节记录了MYD文件中被标记删除的记录占用的空间，再接下来的8个字节记录了MYD文件中最后一个删除记录的偏移地址，通过这个地址在MYD可以找到最后一个被删除的记录。同时，每一个被删除的记录保存了上一个被删除和下一个被删除的记录的双向链表、当前被删除记录占用空间大小三个数据，删除校验的目的就是从链表的头开始一个一个检查对应的前后链接的有效性，以及将所有删除记录记录的删除空间累加，直到链表尾部，最终此空间累积和大小需要等于MYI文件中记录的大小。
对于dynamic格式的myisam表，每一个被删除的记录元数据信息在记录开始的20个字节中，其中，第一个字节为标记位，00表示标记删除，接下来的3字节表示此标记删除记录占用空间大小，接下来的8字节记录了下一个标记删除记录的偏移地址，最后的8字节记录了上一个标记删除记录的偏移地址；
对于fix格式的myisam表，由于行长度固定（MYI文件头261字节开始的4个字节记录了行长度pack_reclength），因此MYD中记录的寻址是通过行号*每行记录所占空间大小来确定偏移地址的。删除链表的前后指针均指行号，单行删除空间即为行大小，累积删除空间等于删除行数*每行所占空间。MYI文件第285字节记录了rec_reflength值，也既行号所占字节数，此记录从2-8个字节不等，由参数myisam_data_pointer_size控制，当然这个值的范围是2-7，少了一个字节。
g) EXTENDED与MEDIUM相比，多了扫描全部行的所有索引key的步骤；
h）MEDIUM与CHANGED相比，仅去掉了CHANGED的前置条件，检查内容一致；
j）QUICK的不扫描行体现在check方法中的判断，如果没有指定（显示或隐式）QUICK的话，会调用mi_check.cc的check_data_link方法，此方法中会读取整个MYD文件，并校验数据、计算校验和。这也是QUICK与CHANGED、MEDIUM、EXTENDED比起来少了的地方；
k）FOR UPGRADE在8.0版本上是自动检查项了，无论做什么检查，都会顺带进行。
l）对于dynamic行格式，如果没有指定QUICK, MEDIUM, or EXTENDED 选项，则默认执行medium检查；对于static行格式，如没有指定任何选项，则默认执行medium检查，CHANGED与QUICK的检查项相同；
m）从这一段代码可以看出，特定情况下，fast到这里就结束返回了:
下面这两端代码均出自ha_myisam.cc文件的int ha_myisam::check(THD *thd, HA_CHECK_OPT *check_opt)方法
  if (!mi_is_crashed(file) &&
      (((param.testflag & T_CHECK_ONLY_CHANGED) &&
        !(share->state.changed &
          (STATE_CHANGED | STATE_CRASHED | STATE_CRASHED_ON_REPAIR)) &&
        share->state.open_count == 0) ||
       ((param.testflag & T_FAST) &&
        (share->state.open_count == (uint)(share->global_changed ? 1 : 0)))))
    return HA_ADMIN_ALREADY_DONE;
而后面还会有下面这些检查。这些也是fast与CHANGED/MEDIUM/EXTENDED等相比缺少的检查：
error = chk_status(&param, file);  // Not fatal
  error = chk_size(&param, file);
  if (!error) error |= chk_del(&param, file, param.testflag);
  if (!error) error = chk_key(&param, file);
  if (!error) {
    if ((!(param.testflag & T_QUICK) &&
         ((share->options &
           (HA_OPTION_PACK_RECORD | HA_OPTION_COMPRESS_RECORD)) ||
          (param.testflag & (T_EXTEND | T_MEDIUM)))) ||
        mi_is_crashed(file)) {
      uint old_testflag = param.testflag;
      param.testflag |= T_MEDIUM;
      if (!(error = init_io_cache(
                &param.read_cache, file->dfile, my_default_record_cache_size,
                READ_CACHE, share->pack.header_length, true, MYF(MY_WME)))) {
        error = chk_data_link(&param, file, param.testflag & T_EXTEND);
        end_io_cache(&(param.read_cache));
      }
      param.testflag = old_testflag;
    }
  }
h）MEDIUM与EXTENDED主要的不同在mi_check.cc中的int chk_data_link(MI_CHECK *param, MI_INFO *info, int extend)方法的第1151行代码
if (extend) {
              /* We don't need to lock the key tree here as we don't allow
                 concurrent threads when running myisamchk
              */
              int search_result =
                  (keyinfo->flag & HA_SPATIAL)
                      ? rtree_find_first(info, key, info->lastkey, key_length,
                                         MBR_EQUAL | MBR_DATA)
                      : _mi_search(info, keyinfo, info->lastkey, key_length,
                                   SEARCH_SAME, info->s->state.key_root[key]);
              if (search_result) {
                mi_check_print_error(param,
                                     "Record at: %10s  "
                                     "Can't find key for index: %2d",
                                     llstr(start_recpos, llbuff), key + 1);
                if (error++ > MAXERR || !(param->testflag & T_VERBOSE))
                  goto err2;
              }
            } else
              key_checksum[key] +=
                  mi_byte_checksum((uchar *)info->lastkey, key_length);
QUICK不扫描行MYISAM,  INNODB
FAST仅检查没有正常close的表MYISAM,  VIEW
CHANGED仅检查自上一次check后有变化的表
和没有正常close的表		MYISAM,  VIEW
MEDIUM根据delete_link扫描MYD数据行行以验证被标记为deleted的链接是否有效，
会分别计算数据行中的key值和索引文件中的key的校验和，并进行比较是否相同。
默认选项。
 		MYISAM,  VIEW
EXTENDED将MEDIUM的计算校验和验证数据的方式，换成了扫描所有索引key全部行记录的方式。MYISAM,  VIEW
checksumQUICK当表属性CHECKSUM=1时，返回已保存的checnsum值
如果指定quick，但是checksum不为1，那么返回NULL		MYISAM,a) 用于计算整表的校验和数据，用来对数据迁移前后的表数据完整性进行校验
b) 由于校验和算法问题，实际不同的表内容可能得出相同的校验和，但是不同的校验和，表内容一定不同
EXTENDED实时的一行一行的读取并计算校验和MYISAM,  INNODB
     
analyze  收集表统计信息， 收集统计信息，统计信息结果收集后存储在information_schema.tables、information_schema.statistics、information_schema.COLUMN_STATISTICS(列直方图)、information_schema.STATISTICS、information_schema.INNODB_TABLESTATS
     
optimize 重建表。重新组织表数据。释放表文件空间。常规支持：MYISAM，INNODB，NDB1，对于MYISAM引擎：消除碎片，排序索引block，更新统计信息；
2，对于innodb：释放多余空间。大量删除数据后，将磁盘空间释放回操作系统。默认使用online ddl ，alter table .. Force. 如果启用skip-new或者 old_alter_table选项，则使用table  copy方法。
3，不支持空间索引。
skip-new启用后可以支持其他存储引擎。实际转换为alter table。
     
repair tableQUICK只repaired索引数据。支持分区表；MYISAM、CSV、ARCHIVEupgrade升级表，修复损坏的索引，表数据，
2，NO_WRITE_TO_BINLOG、LOCAL不记录repair table到binglog中。注意与repair table对源表的修改内容不会同步到从库做区分；
3，USE_FRM,因为MYI文件header保存了MYISAM表的大量元数据，不使用MYI文件头，会导致依赖此部分信息的数据丢失，具体如下：
     a）自增列最大值丢失；
     b）delete_link丢失，导致MYD文件中已标记为删除的空间不能重用；
     c）MYI文件头首4个字节标志了文件版本，不使用这个信息，导致repair table不会进行upgrade检查升级；
     d）MYI文件中标记了表是否是compress格式，因此对于压缩格式的表，会解析文件失败。（但是compress格式的表都是只读的，会用到repair的机会渺茫）
     e）如果使用了与表文件不同版本的repair，会报错。
4，如果设置了avoid_temporal_upgrade 系统变量，则repair不会upgrade表。
5，可通过设置 myisam_max_sort_file_size 、key_buffer_size、myisam_sort_buffer_size、read_buffer_size等系统变量值提高repair效率。
EXTENDEDrepair索引和数据。支持分区表；
USE_FRMrepair索引和数据。但是忽略MYI文件header。仅使用数据字典存储的表元数据。MYISAM

此外，MYISAMCHK工具集成了check，analyze，optimize，repair功能于一身，还多了其他功能：

1，按照特定索引顺序排序对应的MYD记录，以增强按照特定索引排序的顺序读性能。-R, --sort-records=#
2，解压myisampack压缩的文件。-u, --unpack
3，设置自增列的值。-A, --set-auto-increment[=value]。自增列的值保存在MYI文件头中。
4，发现特定block中的记录。-b,  --block-search=#
5，当MYD满了之后（达到建表时指定的最大文件大小），可以通过重建的方式增大最大大小。-D, --data-file-length=#
6，repair时，仅修改特定索引。-k, --keys-used=#
7，repair时，可自动备份。-B, --backup

myisamchk的全部选项可通过myisamchk --help查看。具体使用时，可设置如下内存参数加快性能，最好设置tmp目录指向其他目录，因为默认的tmpdir使用的是linux操作系统的内存文件系统，相当于完全内存操作。可能造成主机内存不足。
tmpdir                            (No default value)
key-buffer-size                   520192
read-buffer-size                  262136
write-buffer-size                 262136
sort-buffer-size                  2097144
myisam-sort-buffer-size           2097144
sort-key-blocks                   16

需要注意的是，myisamchk在检查带有MYI后缀的文件时，会有报错myisamchk: error: 140 when opening MyISAM-table 。这是个历史悠久的BUG。https://bugs.mysql.com/bug.php?id=87729
可以这样搞一下：
ls *.MYI | xargs basename -s .MYI|xargs  -I{}  /usr/local/mysql/mysql-5.7.27-el7-x86_64/bin/myisamchk -c -s -s

技术菜逼
关注
专栏目录
mysql表analyze_MySQL ANALYZE Optimize Check Table使用详解
weixin_42402730的博客
01-28 1970
1. 对表进行优化 ( 优化表主要作用是消除删除或者更新造成的空间浪费)2. 对表进行分析(分析关键字的分布, 分析并存储MyISAM和BDB表中键的分布)3. 对表进行检查(检查表的错误，并且为MyISAM更新键的统计内容)4. 对表进行修复(修复被破坏的MyISAM表)1．分析表MySQL中使用ANALYZE TABLE语句来分析表，该语句的基本语法如下：ANALYZE TABLE 表名1 [...
mysql数据库check命令_利用mysqlcheck命令快速修复mysql数据库
weixin_35809747的博客
02-03 1516
表索引异常,修复msql表索引(表引擎:myisam)myisamchk --safe-recover /usr/local/mysql/data/ename_news/dede_arccacherepair table customerquestion;Error infos: Table './ename_news/dede_arccache' is marked as crashed and...
myisamchk命令使用总结
热门推荐
冰刀(skate)
02-28 2万+
author：sakte time：2012/02/28   myisamchk命令使用总结   myisamchk实用程序可以用来获得有关你的数据库表的统计信息或检查、修复、优化他们   1.常用于myisamchk的检查选项 --information, -i 打印所检查表的统计信息。 --fast，-F 只检查没有正确关闭的表。 --force, -f 如果myis
MyISAM的OPTIMIZE
cnzh2014的博客
02-29 116
一些介绍 通过OPTIMIZE 命令来整理MyISAM 表的文件。这就像我们使用Windows 操作系统会每过一段时间 后都会做一次磁盘碎片整理，让系统中的文件尽量使用连续空间，提高文件的访问速度。MyISAM 在 ...
mysql myisam optimize任务
tianlianchao1982的专栏
02-10 457
DELIMITER $$ DROP PROCEDURE IF EXISTS `p_optimize_table`$$ CREATE PROCEDURE `p_optimize_table`() BEGIN  DECLARE SQLStr1 VARCHAR(1000); DECLARE done INT DEFAULT FALSE;  # 遍历数据结束标志
myisam表修复---check/repair
冰刀(skate)
02-29 1万+
author：skate time：2012/02/29   myisam表修复---check/repair   在检查、修复表，除了用myisamchk，还可以用check table、repair table来完成，下面来总结下 1.检查表是否有错误 CHECK TABLE对MyISAM和InnoDB表有作用。对于MyISAM表，关键字统计信息会被更新，CHECK TABLE也
1.MySQL优化Optimizing MyISAM Queries
ciqingloveless的博客
11-15 211
介绍 以下方法可以提高MyISAM引擎的查询效率： 为了帮助MySQL更好的优化查询，当一个表加载了数据之后可以使用 ANALYZE TABLE或者myisamchk --analyze分析表。这会更新每个索引部分的值，以指示具有相同值的平均行数，（对于unique indexes，这个是一直是1）MySQL使用它来决定在基于非常量表达式连接两个表时选择哪个索引。可以使用SHOW INDEX ...
深入理解MySQL存储引擎：InnoDB与MyISAM的全面解析，优化数据库性能
[深入理解MySQL存储引擎：InnoDB与MyISAM的全面解析，优化数据库性能](https://img-blog.csdnimg.cn/20190702190117416.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG...
MySQL 工具myisamchk进行表的维护和崩溃恢复
04-11
与之相对应的是isamchk工具，它是用来处理早期版本的ISAM表的。 #### 3. myisamchk的使用方法 ##### 3.1 调用语法 myisamchk的基本调用格式如下： ``` shell> myisamchk [options] tbl_name ``` - `tbl_name`: ...
mysql中优化和修复数据库工具mysqlcheck详细介绍
09-10
MySQL中的`mysqlcheck`是一个非常实用的命令行工具，它专用于检查、修复、优化以及分析MyISAM存储引擎的表。在不中断MySQL服务器运行的情况下，`mysqlcheck`提供了与`myisamchk`类似的功能，但它更安全且易于使用。...
Python3.4 中文手册(官方文档 内附详细教程说明)
10-09
Python34中文手册(官方文档 内附详细教程说明)，很适合初学者进行系统的学习
Mysql optimize、Analyze、check、repair维护操作
cuilingqiao0657的博客
10-11 324
optimize、Analyze、check、repair维护操作 optimize 数据在插入，更新，删除的时候难免一些数据迁移，分页，之后就出现一些碎片，久而久之碎片积累起来影响性能，这就需要DBA定期...
mysql isamchk_mysqlcheck和myisamchk
weixin_42118701的博客
01-19 236
MysqlcheckMysqlcheck在mysqld运行时使用，其内嵌check/repair/analyze/optimize table命令；在执行时相应表被锁定，analyze/check table使用读锁，其它均为写锁；同myisamchk功能近似，但是后者最好在mysqld关闭时运行；Mysqlcheck可以通过重命名或创建链接的方式生成mysqlrepair/mysqlanalyz...
mysql table：analyze、check、optimize
DBAdream的专栏
07-02 834
分析表主要作用是分析关键字的分布。检查表主要作用是检查表是否存在错误。优化表主要作用是消除删除或者更新造成的空间浪费。本小节将为读者介绍分析表、检查表和优化表的方法。   1．分析表   MySQL中使用ANALYZE TABLE语句来分析表，该语句的基本语法如下：   ANALYZE TABLE 表名1 [,表名2…] ; 使用ANALYZE TABLE分析表的过程中，数据库系统会
check/repair与myisamchk对比
冰刀(skate)
02-29 1902
author：skate time：2012/02/29   check/repair与myisamchk对比 一.不相同点 1.myisamchk不但可以检查、修复myisam表，还可以获得表的信息、优化和分析myisam表；而check可以检查myisam、innodb表；但repair只能修复myisam表 2.myisamchk操作myisam表时必须保证表不能被使用，一般
mysqlcheck和myisamchk
congdiku5262的博客
04-07 133
Mysqlcheck Mysqlcheck在mysqld运行时使用，其内嵌check/repair/analyze/optimize table命令； 在执行时相应表被锁定，analyze/check table使用读锁，其...
mysql下优化表和修复表命令使用说明(REPAIR TABLE和OPTIMIZE TABLE)
u013085496的博客
06-09 235
随着mysql的长期使用，可以修复表来优化，优化时减少磁盘占用空间。方便备份。 REPAIR TABLE `table_name` 修复表 OPTIMIZE TABLE `table_name` 优化表 REPAIR TABLE 用于修复被破坏的表。 OPTIMIZE TABLE 用于回收闲置的数据库空间，当表上的数据行被删除时，所占据的磁盘空间并没有立即被回收，使用了O...
MySQL之mysqlcheck、check、optimize和analyze
coco3600的博客
09-07 928
MySQL之mysqlcheckcheck、optimize和analyze ㈠ optimize optimize可以回收空间、减少碎片、提高I/O ...
linux下安装MySQL出错file /usr/share/mysql/charsets/latin2.xml from install of MySQL-......
weixin_30567225的博客
02-26 732
linux64 red hat 6.3企业版 开始错误装了32位mysql最后怎么也装不上64mysql了，折腾了一番最后全部卸载搞定: file /etc/init.d/mysql from install of MySQL-server-5.5.28-1.linux2.6.x86_64 conflicts with file from package MySQL-server-5...
MySQL MyISAM存储引擎详解：特点与应用
MySQL的MyISAM存储引擎是早期广泛使用的引擎之一，尽管现在InnoDB已经成为默认引擎，但理解MyISAM仍有其价值。MyISAM的主要特点如下： 1. **不支持事务**：与InnoDB引擎相比，MyISAM不提供事务处理功能，这意味着...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值