魏书生的博客

1，背景：在进行大表（600G）碎片整理，命令如下：alter table XXX engine=innodb;2，报错：ERROR 1799 (HY000): Creating index 'FTS_DOC_ID_INDEX' required more than 'innodb_online_alter_log_max_size' bytes of modification log. Please try again.信息查看：mysql> select version(

1，背景：线上数据库，可能由于一些SQL因使用了临时表，如果是大表，或者产生了笛卡尔积等特殊情况下去，会占用很多临时表空间文件2，举例：mysql> select * from t union select * from t1 ;此时ibtmp1 会持续增大，可能造成数据目录100%。3，解决办法：设置临时表空间最大值[mysqld]innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:15M4，验证：.

参考：https://database.51cto.com/art/202006/617923.htmstrace简介strace是Linux环境下的一款程序调试工具，用来监察一个应用程序所使用的系统调用。Strace是一个简单的跟踪系统调用执行的工具。在其最简单的形式中，它可以从开始到结束跟踪二进制的执行，并在进程的生命周期中输出一行具有系统调用名称，每个系统调用的参数和返回值的文本行。常用选项-T：strace输出显示时间 -t：可以在每行的输出之前添加时间戳，-tt可以精确到..

1，使用pt-kill工具[root@localhost ~]# pt-kill --user=root --password=123456 -hlocalhost --no-version-check --match-command Connect --match-state "Waiting in connection_control plugin" --victims all --interval 2 --print --kill# 2021-02-18T09:49:28 KILL 218...

1，背景应等保三级安全要求，现需要对生产环境MySQL数据库进行插件安装，以满足密码复杂度和登录失败处理的安全要求（1）设置口令位数至少为8位，至少一位大小写字母，一位数字，一位特殊字符（2）设置当密码错误超过一定次数后（建议3次或5次），自动锁定账户（建议30分钟以上）2，密码复杂度插件（1）安装插件mysql> install plugin validate_password soname 'validate_password.so';Query OK, 0 rows a

1，背景：某些情况下需要清理线上的大表。如果设置了分区表的归档日志表，需要删除指定日期前的数据，直接truncate 或者drop table 可能造成所在服务器的IO吃满，进而影响线上业务。这里我们介绍采用硬链接的方式进行删除大表2，解决方案这里需要利用了linux中硬链接的知识，来进行快速删除。所谓的硬链接，就是不止一个文件名指向node Index，有好几个文件名指向node Index。假设，这会又有一个文件名指向上面的node Index，即这个时候，你做了删除文

1，背景：可能由于一些原因造成mysql连接数满了比如程序并发连接过多，或者连接异常不断开，造成mysql连接数满了，此时dba本地登录也会受到影响，为了不重启mysql服务，也能够修改最大连接数，这里我们介绍gdb修改mysql参数的方式。[root@localhost ~]# /dbfiles/scripts/mysql_login.shmysql: [Warning] Using a password on the command line interface can be insecur.

1，下载软件https://downloads.mysql.com/archives/community/2,开始安装mysqlgroupadd mysqluseradd mysql -g mysql -s /sbin/nologin -M3, 安装软件包yum -y install openssl openssl-devel4，编译安装cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql5.7/ -DMYSQL_DATADIR=

《深入理解MySQL主从原理32讲》-学习笔记主库DUMP线程有几步需要比较GTID和GTID SET：1，检查从库的GTID SET是否大于主库的GTID SET2，根据主库的gtid_purged变量检查从库需要的event是否已经被清理3，实际扫描的主库的binary log 检查从库需要的event是否已经被清理4，进行GTID过滤，决定发送哪些事务给从库之前讲的是功能，这一节介绍算法比如从库出现b:1-95:97-100这种GTID SET的时候，如果要在主库查找是否有

每一个mysql的从库slave都会对于一个 dump线程，如上图的 Binlog Dump GTID .

参考《深入理解MySQL主从原理32讲》一，WriteSet是什么？实际上 Writeset 是一个集合，使用的是 C++ STL 中的 set 容器，在类 Rpl_transaction_write_set_ctx 中包含了如下定义：class Rpl_transaction_write_set_ctx{public:...private: std::vector<uint64> write_set; std::set<uint64> writ.

一，配置文件master_info_repository=TABLErelay_log_info_repository=TABLEslave_parallel_type = LOGICAL_CLOCKslave_parallel_workers=2slave_preserve_commit_order=1验证：二，日志解析当前模式： COMMIT_ORDER （默认方式）mysql> show variables like '%binlog_transaction.

1，环境要求Clickhouse 仅支持Linux 且必须支持SSE4.2 指令集这里用Centos7进行演示[root@localhost soft]# grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"SSE 4.2 supported如果服务器不支持SSE指令集，则不能直接下载预编译安装包，需要通过源码编译特定版本进行安装关闭防火墙以及防

redo log 的写入机制redo log buffer：事务在执行过程中，生成的 redo log 是要先写到 redo log buffer 的。redo log buffer 里面的内容，是不是每次生成后都要直接持久化到磁盘呢？答案是，不需要。如果事务执行期间 MySQL 发生异常重启，那这部分日志就丢了。由于事务并没有提交，所以这时日志丢了也不会有损失。那么，另外一个问题是，事务还没提交的时候，redo log buffer 中的部分日志有没有可能被持久化到磁盘呢？答案是，确.

其实，binlog 的写入逻辑比较简单：事务执行过程中，先把日志写到 binlog cache，事务提交的时候，再把 binlog cache 写到 binlog 文件中。 一个事务的 binlog 是不能被拆开的，因此不论这个事务多大，也要确保一次性写入。这就涉及到了 binlog cache 的保存问题。 系统给 binlog cache 分配了一片内存，每个线程一个，参数 binlog_cache_size 用于控制单个线程内 binlog cache 所占内存的大小。如果超过了这个参数规...

作者：高鹏文章末尾有他著作的《深入理解MySQL主从原理 32讲》,深入透彻理解MySQL主从，GTID相关技术知识。本文节选自《深入理解MySQL主从原理》第15节本节包含一个笔记如下：https://www.jianshu.com/writer#/notebooks/37013486/notes/50142567本文提要本节将解释 MySQL 层详细的提交流程，但是由于能力有限，这里不可能包含全部的步骤，只是包含了一些重要的、并且我学习过的步骤。我们首先需要来假设参数设置，因为某.

整个事务的Event在commit的时候才会真正的写入到binlog 文件中，在此之前，这些Event 都放在binlog cache中。先来看下几个相关参数的定义binlog_cache_size，binlog_stmt_cache_size。 binlog_cache_size The size of the memory buffer to hold changes to the binary log during a transaction. When binary loggin