T99887766-CSDN博客

转载 ansible Failed to connect to the host via ssh: no such identity: /root/.ssh/id_rsa.bak

中控机和远端主机配置完密钥后，在中控台上通过ansible检测联通性ansible -i inventory.cfg all -m ping10.1.1.1 | UNREACHABLE! => { "changed": false, "msg": "Failed to connect to the host via ssh: no such ide...

2018-08-10 12:14:00 1685

转载 Python的变量

在写代码时会遇到一些参数相关的小问题，记录下来，方便自查有时候定义函数时，参数有无及其个数都是可选择的，这时参数的形式可以为**kwargs 字典对象*args 数组对象如# -*- coding:utf-8 -*-class food(): v1='fruit' v2='meat' def eat(self,**kwargs)...

2018-08-06 22:13:00 200

转载 Block Nested-Loop 和 Batched Key Access

官方文档：https://dev.mysql.com/doc/refman/5.7/en/bnl-bka-optimization.htmlBNL和BKA是MySQL 表关联的两种关联算法比如t1、t2、t3关联查询且查询顺序和关联顺序一致，MySQL处理join的过程一般是t1和t2的关联的结果集放入join buffer B1，分配到join buffer时，varcha...

2018-08-05 15:31:00 233

转载通过 purge_relay_logs 自动清理relaylog

使用背景线上物理备份任务是在从库上进行的，xtrabackup会在备份binlog的时候执行flush logs，relay-log会rotate到新的一个文件号，导致sql thread线程应用完之后无法自动删除这时候就可以引入purge_relay_logs做成执行计划自动清理relay log安装yum install -y mha4mysql-node-0.56...

2018-06-28 16:41:00 485

转载 rsync 使用小记

工作中遇到了有关rsync使用的问题，在这里记录下供有同样需求的人参考一下先说下环境服务端配置pid file = /rsyncdata/rsyncd.pidport = 873address = 0.0.0.0charset = UTF-8reverse lookup = nouid = 0gid = 0use chroot = noho...

2018-06-06 11:27:00 191

转载 crt 和 Windows之间传输大文件

crt 通过rz、sz基于Zmodem传输协议最大支持4GB的文件，超过这个大小有两种方式（目前已知）1、通过自带的FTP，如果是直连可以通过这种方式调出crt会话窗口，然后通过组合键 Alt+p 进入ftp命令行，如# 查看使用方法sftp> help....# 下载文件sftp> get info.sql Downloading info.sql ...

2018-04-17 14:38:00 525

转载 MySQL 添加审计功能

MySQL社区版没有自带的设计功能或插件。调研发现MariaDB的audit plugin 同样适用于MySQL，支持更细粒度的审计，比如只审计DDL操作，满足我们的需求。因为最近测试环境的某表结构经常性的被变更且数据被清空的情况，所以引入MariaDB的插件对DDL进行审计MariaDB audit plugin 官网MariaDB audit plugin 下载地址查看M...

2018-04-16 13:33:00 221

转载遇到的python3 不兼容 python2的地方

python3中执行以下代码>>> import subprocess>>> p=subprocess.Popen('ls',shell=True,stdout=subprocess.PIPE) >>> d=p.stdout.read()>>> db'agent2.0.tgz\njdk1.8....

2018-04-11 18:08:00 409

转载 python 使用入的坑

如测试代码，并没有将li、li_ 的交集查询出来li=[1,2,3,4,5]li_=[2,5,6,7,9]for i in li_: if i in li: li_.remove(i)print li_# 输出 [5, 6, 7, 9]原因for 遍历列表时记录的是元素的索引位置，如i=2符合条件，此时li 列表会将2元素删...

2018-03-30 15:03:00 168

转载 ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository

salve复制线程停止，尝试start slave 时报ERROR 1872错误mysql> system perror 1872 MySQL error code 1872 (ER_SLAVE_RLI_INIT_REPOSITORY): Slave failed to initialize relay log info structure from the repo...

2018-03-03 15:26:00 287

转载 xtrabackup: error: last checkpoint LSN (3409281307) is larger than last copied LSN (3409274368). #2

1.错误发生场景：使用2.4.1版本的xtrabackup工具进行全备，备份日志中报出此错误2.知识要点：MySQL中，redo 日志写进程会在三种条件下被触发从log buffer中写日志到redo log file中，分别是每隔一秒、日志达到log buffer的1/3、每一次提交的时候。刷新日志的LSN到log file是采用轮询的方式进行的，比如有三组日志当这三组都被写满的时候再...

2018-03-03 15:22:00 408

转载通过FEDERATED存储引擎同步两实例间的表数据

需求情景：实例1中A库中的三个视图是实例2中的B库所依赖的，B需要A库中三个视图的实时数据。方案：通过FEDERATED来完成跨势力的查询FEDERATED存储引擎表只会创建表结构，不会存储表数据，可以通过建表语句中的CONNECTION [=] 'connect_string'来指定访问远端数据的连接方式connect_string： scheme://user_name[...

2018-03-03 15:19:00 262

转载 MySQL将内存用在了哪里

本片文章参考官网讲述MySQL是如何分配内部内存，同时涉及到如何合适设的置内存分配以及如何监控内存的使用情况官方文档MySQL在启动时默认被分配给512MB RAM,可以通过设置相关内存参数对其进行设置，下面时MySQL使用内存的地方1、InnoDB buffer pool 用于缓存表数据、索引及其他的一些辅助缓冲池，为了高效进行缓存管理，buffer pool 应用多种LR...

2018-03-03 14:53:00 217

转载通过performance schema收集慢查询

MySQL5.6起performance schema自动开启，里面涉及记录 statement event的表mysql> show tables like '%statement%';+----------------------------------------------------+| Tables_in_performance_schema (%sta...

2018-01-22 22:10:00 255

转载记一次定时备份任务的失败原因

备份计划失败原因：使用which xtrabackup 获取xtrabackup的绝对路径，直接调用脚本可以获取，但是在crontab中获取不了，报以下异常# which 从环境变量中搜索++ which xtrabackup which: no xtrabackup in (/usr/bin:/bin)原因是crontab中环境变量是(/usr/bin:/bin)，...

2018-01-12 22:17:00 277

转载 mysqld got signal 11

问题发生背景问题实例之前使用的是percona server，是安装pmm镜像自带的数据库，之后通过mysqldump迁移到了MySQL server，目前是只有有pmm server 访问pmm库，MySQL server就crash，并通过守护进程mysqld_safe 自动重启，crash 集尝试重启的一部分信息如下11:24:49 UTC - mysqld got s...

2018-01-11 21:24:00 273

转载修改mysql数据的字符集校验规则使其区分大小写

mysql 使用utf8字符集默认的校验规则collate为utf8_general_ci，不区分数据的大小写测试如下13:50:04[test](;)> alter table test add col1 varchar(25) character set utf8 collate utf8_bin;Query OK, 0 rows affected (0.16 ...

2017-12-26 16:12:00 545

转载 ssh 远程执行绝对路径命令mysqld_multi 报my_print_defaults不存在

通过SSH直接执行远程命令（这种方式会使用Bash的non-interactive + non-login shell模式）找不到命令参考：http://ghoulich.xninja.org/2017/05/09/how-to-find-env-vars-with-ssh-remote-exec-commands/ssh root@ip1 "/usr/local/mysql/b...

2017-12-01 23:56:00 300

转载慢查询阻塞了xtrabackup进而阻塞以后的sql导致的系统瘫痪问题

收到开发反应一库的sql频繁超时，系统几乎瘫痪，无法执行任何操作，我登上库先查看到当前的线程，发现有大量的线程状态是 Waiting for table flush查看当前的事务从昨天开始执行，到今天早晨还没执行完，具体原因还没深究，先将此线程释放，然后备份才可以flush table成功继而备份完成后后面一系列被阻塞的sql都得以正常运行mysql&g...

2017-12-01 23:34:00 161

转载 not exists、left join/is null、not in 行为

测试数据20:25:52[test](;)> select * from t;+------+------+| id | b |+------+------+| 1 | NULL || 2 | 1 || 3 | 4 |+------+------+3 rows in set (0.00 sec)实现查询t表中id 的值不存在b...

2017-11-18 21:55:00 207

转载 SQL 优化案例之变更表结构

从慢日志报表中看到一条很长的SQLselect id from myinfo WHERE 1 = 1 and (( SUBSTRING_INDEX(location_axis, '$', 3) like concat('%$', 2334) or SUBSTRING_INDEX(location_axis, '$', 3) li...

2017-11-16 19:52:00 149

转载 MySQL binlog_rows_query_log_events在线设置无效

binlog_rows_query_log_events 对binlog_format=row有效，设为true后可以在binary log中记录原始的语句官方文档显示binlog_rows_query_log_events是动态参数，可以在线设置生效，但是测试中发现只有重启才可以生效版本信息22:25:13[test](;)> select version();...

2017-11-13 22:46:00 373

转载 MySQL5.7 MTS work线程stack

复制现象是，slave线程状态正常，但是sql 线程不应用，所以delay越来越大，查看复制状态mysql> show slave status\G*************************** 1. row *************************** Slave_IO_State: System lock...

2017-11-04 12:07:00 176

转载 MySQL错误集锦

允许 enforce-gtid-consistency 可能引发的错误21:43:04[test](;)> CREATE TABLE test (c1 BIGINT UNSIGNED NOT NULL);Query OK, 0 rows affected (0.11 sec)21:44:22[test](;)> insert into test v...

2017-10-18 21:59:00 137

转载 Percona XtraBackup 2.4新特性之恢复单个表数据

参考文档：https://www.percona.com/doc/percona-xtrabackup/2.4/xtrabackup_bin/restoring_individual_tables.html需要满足的条件：innodb_file_per_table开启innodb存储引擎表有对应的.ibd文件满足以上条件就可以通过物理备份集生成以表为单位的export...

2017-10-16 23:17:00 276

转载 pmm metrics 数据采集来源

handler状态参数mysql> show global status like '%handler%';+----------------------------+------------+| Variable_name | Value |+----------------------------+------------...

2017-09-22 17:45:00 335

转载 RR隔离级别下通过next-key locks 避免幻影读

---恢复内容开始---mysql innodb目前使用范围最广的两种隔离级别为RC和RR，RR修复了RC中所存在的不可重复读READ COMMITED不可重复读在同一事务中两次查看的结果集不同，如下session1的查看结果集受session2提交的事物影响05:47:35[test](;)> select @@tx_isolation;+--------...

2017-09-18 16:50:00 224

转载 MySQL metadata lock

什么是元数据描述数据库中的数据的数据都是元数据，如库名、表明、列名、版本名，和show语句展示的大多数内容都是元数据，以及在information_shema中记录数据库对象的表中的内容也是元数据为什么MySQL要设置元数据锁为了保证可以并发访问数据库对象及保证数据的一致性，所以应用metadata lock，如session1正在扫描t表数据，此会话持有t表的元数据锁，这时...

2017-09-14 23:03:00 99

转载更新yum源导致yum不可用

当安装和yum配置相关的包后报yum模块找不到yum install -y yum-utils device-mapper-persistent-data lvm2 yum list|grep yumThere was a problem importing one of the Python modulesrequired to run yum. The error...

2017-08-21 14:14:00 476

转载 INSERT ... ON DUPLICATE KEY UPDATE Syntax

如果表上有唯一值约束，为防止insert时唯一值约束列上发生唯一键冲突报错，可以采用insert into table ... on duplicate update ...来做处理测试表结构，id和col1上都有唯一值约束CREATE TABLE `t1` ( `id` int(11) NOT NULL, `col1` int(11) DEFAULT NULL,...

2017-08-20 22:45:00 163

转载 sql自动审核工具-inception

[inception使用规范及说明文档](http://mysql-inception.github.io/inception-document/usage/)[代码仓库](https://github.com/mysql-inception/inception)inception介绍inception是去哪网团队开发的一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化...

2017-08-08 17:29:00 856

转载 The BLOB and TEXT Types

官网参考：https://dev.mysql.com/doc/refman/5.7/en/blob.html字符串类型对应的存储需求Data TypeStorage RequiredCHAR(M)M × w bytes, 0 <= M <= 255, where w is the number of bytes required for t...

2017-07-27 14:27:00 147

转载 MySQL复制原理

参考官网：https://dev.mysql.com/doc/refman/5.7/en/replication-implementation-details.htmlMySQL复制功能是通过三个线程实现的，包括主上的binlog dump tread和从上的sql thread、I/O ttreadBinlog dump threadmaster创建binlog dump ...

2017-07-13 20:58:00 96

转载 Replication and Triggers

参考官网：https://dev.mysql.com/doc/refman/5.7/en/replication-features-triggers.html需要了解复制和触发器关系的背景:程序变更的数据和账单对不上，但从程序上无法找到问题，于是开发人员想在数据库层记录通过触发器来记录每次变更的历史数据和新数据创建触发器的语句# 原始表t1# 创建存储变更信息的表...

2017-07-13 13:35:00 138

转载 MySQL 待解决死锁

官方文档：https://dev.mysql.com/doc/refman/5.6/en/innodb-locks-set.html线上出现一个死锁现象，信息显示的是两条对同一个表的不同记录的update操作，表上只有一个主键索引，更新的条件上无索引，时间地段显示两个update只相差1ms业务场景是同时一个事务中先是insert再update新插入的行，存在并发；数据库环境是...

2017-06-22 10:43:00 248

转载 MySQL5.7 服务 crash 后无法启动

事发背景测试环境更换数据盘，直接采取在线将数据目录暴力拷贝到新盘，然后将原服务关闭，启用新盘。服务是可以正常启动的，但是没多会开发就反应服务down了，错误日志输出2017-05-17 15:06:28 0x7ffdadff7700 InnoDB: Assertion failure in thread 140727522653952 in file trx0...

2017-05-17 18:26:00 241

转载 MySQL Group Replication

在>=mysql5.7.17的版本中开始支持组复制插件。组复制中的成员至少需要三个才会起到容错作用，各成员在通信层通过原子广播及总订单消息的传递一起应用或回滚事务组从而达到数据的强一致性。组复制的成员是独立处理事务的，rw事务需要通过组的冲突检查才可以进行，ro事务则不需要组之间的通信而直接提交。当一个成员要提交rw事务时，会原子广播写入的行数据和相关的写入集（变更行的唯一...

2017-05-05 17:16:00 110

转载 MySQL容量规划之tcpcopy应用之道

官方文档：https://github.com/session-replay-tools/mysql-replay-moduletcpcopy可以将正式环境上来自客户端的请求复制一份到测试端并复现，想要真实的对MySQL进行容量规划，可以借助tcpcopy来将线上的流量呈倍数的增长，将其复制到测试环境，从而快速定位测试环境出现瓶颈时负载情况，进而做好容量的全局把控部署伪装...

2017-04-20 18:14:00 153

转载 Python模块安装路径初探

在调用MySQL第三方工具mysqlrplsync是报错mysqlrplsync --master=checksum:checksum@master_ip:3306 --slave=checksum:checksum@slave_ip:3306 --checksum-timeout=10 --verboseTraceback (most recent call last):...

2017-04-10 14:31:00 199

转载 MySQL5.7多源复制实践

MySQL5.7开始新增多源复制功能，即允许一个salve同时复制多个主库的事务，slave会创建通往每个主库的管道。多源复制在应用来自多个源的事务的时候不会对有冲突的事务进行检测。配置实现主库支持基于GTID和binlog position的配置；从库存储master信息的仓库需要为table：#在配置文件中加入master-info-repository=TABLE ...

2017-04-08 12:30:00 132

空空如也

空空如也