dbtg45121-CSDN博客

转载 MySQL-记一次备份失败的排查过程

山竹来临，窝在家里整理个人文档。本篇文章主要讲解排查问题的思路，涉及linux 删除文件的原理、实例误删数据恢复、MySQL实例初始化参数优先级别等，虽然涉及知识点比较浅，但是个人觉得挺有意思的，所以翻出笔记发布出来。如果转载，请注明博文来源：www.cnblogs.com/xinysu/...

2018-09-20 09:48:00 762

转载 MySQL升级-5.6升级到5.7版本&切换GTID模式

目前未在生产环境中升级过数据库版本，倒是在测试环境跟开发环境升级过。可以通过mysqldump sql文件进行升级，也可以通过mysql_upgrade升级，前者耗时较长，且需要足够量的磁盘空间，本文暂不讨论，升级使用mysql_upgrade方式。如果转载，请注明博文来源：www.cnblogs...

2018-03-30 11:38:00 330

转载 MySQL_执行计划详细说明

1 简要说明id表格查询的顺序编号。降序查看，id相同的从上到下查查看。id可以为null ，当table为( union ,m,n )类型的时候，id为null，这个时候，id的顺序为 m跟n的后面。select_type查询的方式下文详细说明。tabl...

2018-01-16 11:19:00 193

转载 MSSQL-并发控制-2-Isolation

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！ MySQL通过MVCC和锁来实现并发控制，在4个隔离级别中，读写数据方式及加锁方式有所不同，以满足不同的业务需求。而在MSSQL中，也是通过锁和...

2017-11-27 09:53:00 165

转载 MSSQL-并发控制-1-Transaction

MSSQL并发控制原先打算分为两个部分写：隔离级别及锁，写的过程中，发现需要提及下事务的相关内容，故加多一篇博文，共3篇。如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！...

2017-11-20 09:14:00 315

转载 zabbix自动截图留档_python版

1 背景每个DB Server都有zabbix监控，除了异常情况的报警信息外，也会在日检、周检、月检等工作中用到zabbix的监控数据，对zabbix监控数据会做两种处理：1 数据分析（环比分析、最大值、最小值及平均值分析）；2 主要检测项目折线图留档（为啥需要留档呢，因为zabbix监控过多服务器，监控数据仅保留半年到1年间）。关于数据分析类的...

2017-10-24 10:41:00 365

转载 mysql的并发处理机制_下篇

MySQL的并发处理机制，有MVCC及锁机制来处理，上篇简要说明了 MVCC及隔离级别：mysql的并发处理机制_上篇，这篇来说说mysql下的锁。温馨提示：下文有几个表格长度较长，右下角的博文导航目录会挡道，浏览时，可以点击导航目录的左下角按钮收缩目录：如果转载，请注明博文来源：www.cnblogs.c...

2017-10-23 09:07:00 69

转载 MySQL_日期函数汇总

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！关于MySQL日期时间函数，每回总能发现一些新特性，索性做一次统一的整理，补充下笔记库。可以会有所遗漏，欢迎补充。本文整理了30个时间日期函数，分为4个段落分析，详见下文。...

2017-09-26 11:44:00 173

转载 Redis-入门笔记-15min带你一览redis

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！少年入门笔记，整理出来一起入坑！入门的视屏来自imooc的：http://www.imooc.com/learn/8391 NOSQL概...

2017-08-16 09:21:00 301

转载 MySQL- 5.7 sys schema笔记

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！ performance_schema提供监控策略及大量监控项，包括：元数据锁、进度跟踪、事务、内存使用及存储程序等。但是，performance_s...

2017-08-14 09:22:00 264

转载 MySQL_第三方数据库引擎_tokudb

前阵子迁移zabbix到tokudb，整理部分操作笔记到这篇博文。如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！1 tokudb引擎介绍特性：高压缩，可支持多个聚集索引，支持ACID、MVCC，使用 Fractal Tree 索...

2017-07-31 14:19:00 260

转载 mysql的并发处理机制_上篇

回来写博客，少年前端时间被django迷了心魄如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！1 什么是MVCC MVCC全称是： Multiversion concurrency contr...

2017-07-31 09:34:00 118

转载 mysql基于binlog回滚工具_flashback（python版本）

update、delete的条件写错甚至没有写，导致数据操作错误，需要恢复被误操作的行记录。这种情形，其实时有发生，可以选择用备份文件+binlog来恢复到测试环境，然后再做数据修复，但是这样其实需要耗费一定的时间跟资源。其实，如果binlog format为row，binlog文件中是会详细记录每一个事务涉及到操作，并把每一个事务影响到行记录均存储起来，能否给...

2017-06-20 10:12:00 490

转载 SQL SERVER 自动生成 MySQL 表结构及索引的建表SQL

SQL SERVER的表结构及索引转换为MySQL的表结构及索引，其实在很多第三方工具中有提供，比如navicat、sqlyog等，但是，在处理某些数据类型、默认值及索引转换的时候，总有些不尽人意并且需要安装软件，懒人开始想法子，所以基于SQL SERVER，写了一个存储过程，可以根据表名直接转换为MySQL的建表建索引的SQL脚本（针对 MySQL Innodb引擎...

2017-06-13 09:44:00 379

转载 SQL SERVER大话存储结构（6）_数据库数据文件

数据库文件有两大类：数据文件跟日志文件，每一个数据库至少各有一个数据文件或者日志文件，数据文件用来存储数据，日志文件用来存储数据库的事务修改情况，可用于恢复数据库使用。这里分为两篇博文讲解，本文来说说数据文件。如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜...

2017-06-06 09:52:00 150

转载 SQL SERVER大话存储结构（4）_复合索引与包含索引

索引这块从存储结构来分，有2大类，聚集索引和非聚集索引，而非聚集索引在堆表或者在聚集索引表都会对其键值有所影响，这块可以详细查看本系列第二篇文章：SQL SERVER大话存储结构_(2)_非聚集索引如何查找到行记录。非聚集索引内又分为多类：单列索引、复合索引、包含索引、过滤索引等。之前文章有具体分析过非聚集索引的存储情况，但是没有对复合索引及...

2017-06-01 12:46:00 145

转载基于binlog来分析mysql的行记录修改情况（python脚本分析）

最近写完mysql flashback，突然发现还有有这种使用场景：有些情况下，可能会统计在某个时间段内，MySQL修改了多少数据量？发生了多少事务？主要是哪些表格发生变动？变动的数量是怎么样的？但是却不需要行记录的修改内容，只需要了解行数据的变动情况。故也整理了下。昨晚写的脚本，因为个人python能力有限，本来想这不发这文，后来想想，没准会有哪位...

2017-05-26 15:24:00 184

转载 SQL SERVER大话存储结构（3）_数据行的行结构

一行数据是如何来存储的呢？变长列与定长列，NULL与NOT NULL，实际是如何整理存放到 8k的数据页上呢？对表格进行增减列，修改长度，添加默认值等DDL SQL，对行存储结构又会有怎么样的影响呢？什么是大对象，什么是行溢出，存储引擎是如何处理它们呢？如果转载，请注明博文来源：www.cnb...

2017-05-18 09:37:00 166

转载 SQL SERVER大话存储结构（2）_非聚集索引如何查找到行记录

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！本系列上一篇博文链接：SQL SERVER大话存储结构（1）_数据页类型及页面指令分析1 行记录如何存储这里引入两个概念：堆跟聚集索引表。本部分参考MSDN。1.1 堆表堆...

2017-05-10 07:36:00 113

转载 SQL SERVER大话存储结构（1）_数据页类型及页面指令分析

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！ SQLServer的数据页大小是8kb，8个连续的物理页组成一个区。区分混合区跟统一区，混合区内可以存储不同数据库对象的内容，通常这个数据库对象较小；统一区表示区内连续的8个数据页存储的都...

2017-05-03 09:33:00 334

转载 pt-online-schema-change的原理解析与应用说明

如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！ PERCONA提供了若干管理维护MySQL的小工具，集成在 PERCONA Toolkit工具中，有慢查询分析、主从差异对比、主从差异修复及在线表结构修改等工具，个人觉得挺好用的。本文简单介绍 pt-o...

2017-04-24 18:08:00 597

转载细细探究MySQL Group Replicaiton — 配置维护故障处理全集

本文主要描述MySQL Group Replication的简易原理、搭建过程以及故障维护管理内容。由于是新技术，未在生产环境使用过，本文均是虚拟机测试，可能存在考虑不周跟思路有误情况，欢迎交流指正。如果转载，请注明博文来源：www.cnblogs.com/xinysu/ ，版权归博客园苏家小萝卜所有。望各位支持！1 What's Gr...

2017-04-07 09:15:00 1558

转载关于binary log那些事——认真码了好长一篇

本文介绍binlog的作用以及几个重要参数的使用方法，同时通过实验来描述binlog内部记录内容：row 、statement跟mixed的设置下，记录了哪些东西，最后会简单介绍下binlog server的搭建以及一些关于binlog使用的小Tips。理解跟熟悉binlog相关内容，对复制原理及故障处理会有很大帮助的。如果转载，请注明博文来源：www.cnblog...

2017-03-24 10:27:00 363

转载说说MySQL中的Redo log Undo log都在干啥

在数据库系统中，既有存放数据的文件，也有存放日志的文件。日志在内存中也是有缓存Log buffer，也有磁盘文件log file，本文主要描述存放日志的文件。 MySQL中的日志文件，有这么两类常常讨论到：undo日志与redo日志。1 undo1.1 undo是啥undo日志用于存放数据修改被修改前的值，假设修改 tba 表中 id=2的行数据，把Name...

2017-03-15 16:58:00 1472

转载 SQL SERVER - 谈死锁的监控分析解决思路

1 背景1.1 报警情况最近整理笔记，打算全部迁移到EVERNOTE。整理到锁这一部分，里边刚好有个自己记录下来的案例，重新整理分享下给大家。某日中午，收到报警短信，DB死锁异常，单分钟死锁120个。死锁的xml文件如下： 1 <deadlock-list> 2 <deadlock victim="process810b00cf8">...

2017-03-08 10:55:00 187

转载 SQL SERVER大话存储结构（5）_SQL SERVER 事务日志解析

本系列上一篇博文链接：SQL SERVER大话存储结构（4）_复合索引与包含索引1 基本介绍每个数据库都具有事务日志，用于记录所有事物以及每个事物对数据库所作的操作。日志的记录形式需要根据数据库的恢复模式来确定，数据库恢复模式有三种：完整模式，完全记录事物日志，需要定期进行日志备份...

2017-03-03 10:28:00 305

转载 SQL SERVER的统计信息

1 什么是统计信息统计信息描述了表格或者索引视图中的某些列的值的分布情况，属于数据库对象。根据统计信息，查询优化器就能评估查询过程中需要读取的行数及结果集情况，同时也能创建高质量的查询计划。有了统计信息，查询优化器可以使用基数估计来选择合理的索引，而不需要耗费更多的IO资源扫描来评估哪个索引合理，能有效提供查询性能。所以，简单的说，统计信息是用来反应数据在实体表格或者...

2017-03-01 16:22:00 183

转载 MySQL Innodb 并发涉及参数

1 参数作用 MySQL的各个插件式引擎中，都会对事务及线程做一定的处理和优化。在Innodb引擎中，总是尝试保持 innodb内操作系统的线程数（暂命名为innodb_thread）应该小于或等于系统可提供给innodb处理事务的线程数(暂命名为system_innodb_thread)。在大多数情况下，innodb_thread都不会指定一个限制值，而是让它想要多少直...

2017-02-24 18:18:00 207

转载 SQL SERVER的检查点checkpoint

1 什么是检查点数据修改操作都是在内存中的数据页进行修改，每次修改后并没有立即把这些页面写入磁盘，而是等到一定时期，数据库引擎对数据库发起检查点命令，这时，该命令就会创建一个已知的正常点，把当前所有在内存中已修改的页面（脏页）即事务日志信息从内存中写入到磁盘，并且记录下有关事务日志的信息。之后如果数据库意外关闭或者崩溃，那么在恢复的过程中，数据库引擎就不需要恢复所有事务...

2017-02-20 15:44:00 351

转载 MySQL备份说明

第一次发布博客，发现目录居然不会生成，后续慢慢熟悉博客园的设置。回正文～～～1 使用规范1.1 实例级备份恢复使用innobackupex，在业务空闲期执行，考虑到IO影响及 FLUSH TABLE WITH READ LOCAK 拷贝非INNODB文件的锁表时间。。常规备份中，使用innobackupex在从库备份执行，在无从库的情况下，允许在业务低峰期对整个实例拷贝。...

2016-12-28 16:34:00 116

dbtg45121的博客