渔夫数据库笔记

pt-archiver 归档慢问题分析处理

一：关于 loguru 在 Python 中，一般情况下我们可能直接用自带的 logging 模块来记录日志。功能也算强大，但是在使用时我们需要配置一些 Handler、Formatter 来进行一些处理，比如把日志输出到不同的位置，或者设置一个不同的输出格式，或者设置日志分块和备份。总体来说使用起来比较负责繁琐。有没有一种能够即开即用的日志模块呢？ 还真有它叫 Loguru 。Loguru 一个能彻底解放你的日志记录器。Loguru即插即用，具备多种方式滚动日志、自动压缩日志文件、定时删..

mysqlbinlog 解析binlog文件或者relay-log文件 出现 Row event for unknown table 原因分析

1.数据库版本8.0.13(阿里云polardb)2.问题发现监控发现某时刻数据库活跃连接突然上升，查询发现当时有一张表上有大量并发的倒排序查询，及并发insert操作(每个insert语句只是插入一条记录)，截图如下：具体现象是某个倒排序查询批量出现，并且查询时间很长时(正常情况下该倒排序查询效率很高，很可能是因为order by limit选择执行计划导致某些时候执行效率很低)。会同时出现这张表上的insert操作耗时异常(插入一条记录可能耗时几秒到几十秒)。倒排序插入语句类似如下.

一：工具作用该工具可以根据指定关键字搜索淘宝内核月报的标题，正文及代码三个部分，只要其中一个部分有关键字匹配，就会输出该篇月报的标题及url。二：工具使用方法双击 "内核月报搜索.exe" 执行该工具，执行后首先提示输入关键字，提示信息如下：请输入关键字，最多支持3个关键字，多个关键字间用逗号分隔：NOTE1：最多支持输入三个关键字，指定多个关键字时以逗号分隔关键字(注意如果不使用逗号而使用空格会被认为是一个关键字)。NOTE2：如果指定多于一个关键字，则必须同时指定关键字间的关系

#!/usr/bin/python3# -*- coding: utf-8 -*-# @Time : 2022/4/11 17:58# @Author : shaofei# @Email : shaochenshuo@126.com# @File : 内核月报搜索.py# @Software: PyCharm"""该程序通过指定(-k)关键字搜索淘宝内核月报的标题，正文，代码等部分，只要有其中某个部分命中就输出该月报标题及链接"""#pip3 install be.

#!/usr/bin/python3# -*- coding: utf-8 -*-# @Time : 2022/4/15 12:06# @Author : shaofei# @Email : shaochenshuo@126.com# @File : 内核月报搜索exe版.py# @Software: PyCharm#pip3 install beautifulsoup4#pip3 install lxml#pip install requests#import u.

1.数据库版本：8.0.132.问题发现 监控发现一个并发查询导致数据库cpu使用率过高，我找到该sql看看有没有优化的余地，但是看了执行计划后，发现这个执行计划就很奇怪，下面发给大家看一下。 我们发现执行计划显示先访问了g表，然后紧接着访问了a表，问题是g 表和a 在sql中并没有关联字段，执行计划普通版：mysql> explain SELECT any_value(b.id) AS id, b.sub_order_no, any_value(b.or...

对于因为字符集不同导致两表关联时无法使用索引的问题我们可能经常遇到，但是你知道吗，就算字符集相同，你的编码规则(collate)不同也可能导致两表关联时无法使用索引的一：实验1 字符集不同可能会导致两表关联时无法使用索引结论：两个表字符集不同，关联查询时就一定会导致无法使用字符类型字段上的索引无法使用吗？ 不一定，看下面的例子两个测试表一个字符集为utf8，一个为utf8mb4，如果使用utf8字符集的表做驱动表，通过他的字符列去关联utf8mb4字符集的表(utf8mb4 表上的字符类型关联字

sql执行效率，innodb_data_read

最近在阅读Innodb IO相关部分的源代码。在阅读之前一直有个疑问，show global status 中有两个指标innodb_data_reads 和innodb_data_read。两个计数器仅差一个字母，他们之间的含义到底有何差别呢？本文将通过解析这两个参数的含义，分析Innodb对于磁盘IO相关的一些知识

一：MySQL 自带限流功能1.MySQL 限流相关参数1) MAX_QUERIES_PER_HOUR某用户每小时可以执行的查询次数2) MAX_UPDATES_PER_HOUR某用户每小时可以执行的修改语句次数3) MAX_CONNECTIONS_PER_HOUR某用户每小时最多可以连接多少次4) MAX_USER_CONNECTIONS某用户可同时连接到数据库的会话数量2.如何启用某用户限流功能alter user 'user_limit'@'%' with MAX_Q

数据库请求来源统计

如何修改 Phoenix 参数并使之生效

属性名称 属性描述 默认值 phoenix.query.timeoutMs 查询超时时间，默认为10分钟，单位：毫秒 600000 phoenix.query.keepAliveMs 当客户端的线程超过线程池的核心线程数量时，空闲线程等等待任务的默认时间。超过这个时间，空闲线程就会关闭，默认是60s 60000 phoenix.query.threadPoolSize 客户端线程池的线程数量，当集群扩大时，这个数量最好也增大 128 phoen

1.版本信息MySQL 8.0.132.问题描述通过阿里云的 sql 洞察监控到某些时间点，数据库的部分dml操作耗时异常，截图如下:#从截图中我们看到在差不多的时间点，有的dml语句执行时间异常，有些又正常。3.问题分析#先说结论：大事务在刷binlog cache时候阻塞了其他事务刷binlog cache的动作3.1 根据问题时间点查看活跃事务监控信息发现一个可以的 update 操作，这个update 是活跃连接中执行时间最长的一个。当时存在的一些

我们知道在RC隔离级别中几乎不会出现 Gap Lock，但是官方文档中列出了如下两个例外情况(在外键约束和唯一性约束时还是会使用Gap Lock，即使在RC隔离级别下)

1.版本数据版本：阿里云 PolarDB（目前使用的版本是基于 MySQL 8.0.13 研发）2.问题描述业务侧报告说某个时间点有一个表(只有这一个表有问题，其他表的insert在那个时间点都是正常的)的insert 耗时达到将近1分钟。业务侧日志如下截图：#从截图中我们可以看到 2021-10-29 16:33:09.836 执行的 insert into t_order_guest（插入一行记录）耗时将近1分钟。而在2021-10-29 16:33:09.853 执行.

例2分支例2中业务侧给出的数据库响应延迟问题，有些情况如例2中描述，是sql因为等待，导致执行时间成，所以业务侧响应延迟。但是有些sql执行时间缺没有问题业务日志截图binlog日志截图该binlog统计结果如下:grep -i "exec_time" mysql-bin.026571.txt|grep -i "211102 9:11:41"#看到从2021-11-02 09:11:41.xxx 某个时间点之后，数据库所有记录binlog的操作都被阻塞5s钟才...