- 博客(20)
- 收藏
- 关注
RSS订阅转载 binlog2sql的安装及使用
binlog2sql是大众点评开源的一款用于解析binlog的工具，在测试环境试用了下，还不错。DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会影响mysql的性能。现在有不少好用而且效率又高的开源闪回工具如binlog2sql、mysqlbinlog_flashback，这些工.
2020-07-31 11:29:03
981
1
原创 阿里RDS免费版是支持回滚（mysql利用binlog2sql批量回滚数据(快速闪回)）
mysql原生自带mysqlbinlog，但使用binlog恢复的原理是“重做”而不是“回滚”。网上相当多的文章描述mysqlbinlog用法的时候，并没有进行完整说明（先使用完整备份恢复数据库至最近备份时间点，再利用binlog恢复上次备份到现在的剩余数据）。如果线上环境着急“回滚”，哪有时间去暂停业务,恢复备份,并学习binlog，结果很可能就是乱上加乱。因此，借助处理一起误删除的事故，整理记录快速回滚操作，以备以后不时之需。首先,阿里RDS免费版是支持回滚的,此功能在"数据追踪"里.选择时间/库/
2020-07-31 11:26:21
884
转载 Linux 命令行网络监控工具
对任何规模的业务来说，网络监控工具都是一个重要的功能。网络监控的目标可能千差万别。比如，监控活动的目标可以是保证长期的网络服务、安全保护、对性能进行排查、网络使用统计等。由于它的目标不同，网络监控器使用很多不同的方式来完成任务。比如对包层面的嗅探，对数据流层面的统计数据，向网络中注入探测的流量，分析服务器日志等。尽管有许多专用的网络监控系统可以365天24小时监控，但您依旧可以在特定的情况下使用命令行式的网络监控器，某些命令行式的网络监控器在某方面很有用。如果您是系统管理员，那您就应该有亲身使用一些知名
2020-07-31 11:11:21
765
原创 更换yum源
163yum源：1）备份当前yum源防止出现意外还可以还原回来cd /etc/yum.repos.d/cp CentOS-Base.repo CentOS-Base-repo.bak2）使用wget下载163yum源repo文件wget http://mirrors.163.com/.help/CentOS7-Base-163.repo3) 清理旧包yum clean all4）把下载下来163repo文件设置成为默认源mv CentOS7-...
2020-07-29 16:34:46
172
原创 MySQL延迟复制
MySQL延迟复制--percona-toolkit和MASTER TO MASTER_DELAY一、MASTER TO MASTER_DELAY延迟复制便于数据恢复，设置从库延迟主库1个小时方案优点：没有万一，都能快速恢复数据潜在不足：资源利用率有点低，为了保证数据的安全性，多了2台延时从，降低了从库利用率【提高从库效率】1小时延时从也不是完全没有用，对于一些“允许延时”的业务，可以使用1小时延时从，例如：（1）运营后台，产品后台（2）BI进行数据同步（3）研发进行数
2020-07-29 13:52:26
502
转载 MySQL数据库安全管理
一、前言对于任何一个企业来说，其数据库系统中所保存数据的安全性无疑是非常重要的，尤其是公司的有些商业数据，可能数据就是公司的根本。 失去了数据，可能就失去了一切 本章将针对mysql的安全相关内容进行较为详细的介绍。二、数据库系统安全相关因素1、外围网络让我们的mysql处在一个有保护的局域网之中，而不是置于开发的公网中。2、主机第二层防线“主机层防线”，“主机层防线“主要拦截网络（包括局域网）或者直连的未授权用户试图入侵主机的行为。3、数据库第三道防线“数据库防线”.
2020-07-27 12:01:46
635
转载 MySQL数据库生产环境安全规范
一、MySQL服务器安全规范1. 禁止应用直连DB，一般通过代理访问2. 禁止DB公网访问。3. 禁止生产和办公互通，需生产环境和办公环境隔离。4. Linux系统初始化安全选项: 1）、一些alias，写入/etc/profile，防止误操作 alias c='clear' alias cp='cp -i' alias l.='ls -d .* --color=auto' alias ll='l...
2020-07-27 12:00:29
948
转载 RDS MySQL 物理备份文件恢复到自建数据库
关于阿里云RDS物理备份数据使用xtrabackup工具恢复到本地mysql当中，请参考阿里云文档：https://help.aliyun.com/knowledge_detail/41817.html?spm=5176.11065259.1996646101.searchclickresult.53d420cclqekK3开源软件Percona Xtrabackup可以用于对数据库进行备份恢复，您可以使用该软件将云数据库MySQL的备份文件恢复到自建数据库中，本文将介绍详细的操作步骤。说明通过
2020-07-27 11:58:38
454
原创 Xtrabackup备份与恢复
一、Xtrabackup介绍 MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具，xtrabakackup有2个工具，分别是xtrabakup、innobakupe。 Pe..
2020-07-27 11:55:46
335
转载 为什么还原innobackupex备份后查看到的Executed_Gtid_Set与xtrabackup_binlog_info不一致
本文目录一、什么不一致 1.1、不一致 1.2、一致 二、为什么不一致 2.1、show master status 2.2、mysql.gtid_executed 2.3、不一致会有什么影响 基本环境：官方社区版MySQL 5.7.19，innobackupex version 2.4.8返回顶部一、什么不一致1.1、不一致首先使用下面脚本来构建Executed_Gtid_Set与xtrabackup_binlog_info不一致，到底指的是什么不一致
2020-07-27 11:48:36
260
原创 xtrabackup 搭建一个mysql slave
备份要作为备库，所以用了–slave-info参数，备份完成后会生成一个对应主库的binlog日志的文件，用于配置同步。为了保证数据一致性，使用了–slave-info参数后会在某一段时间内加一个全局只读锁，导致库不可写，但是这个要比停止库的同步的影响要小。数据库总共1.4T，前面备份的1.3T都很顺利，没有锁和延时。在备份最后100G数据文件的时候产生了一个全局只读锁，造成了大约3个小时的延迟，备份完成后大概半小时后延时追上了 。下面介绍用xtrabackup 搭建备库的主要步骤：1.xtraback
2020-07-27 11:44:02
243
原创 MySql8.0.20+percona-xtrabackup-80-8.0.13备份与恢复
一、软件：MySql8.0.20percona-xtrabackup-80-8.0.13-1.el7.x86_64安装：1、安装percona依赖库：yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm2、测试依赖库是否安装成功：yum list | grep percona3、安装perconayum inst..
2020-07-27 11:30:44
2396
原创 MySQL闪回myflash 和 binlog2sql
MySQL闪回工具之：binlog2sqlhttps://github.com/danfengcao/binlog2sqlMYSQL Binglog分析利器:binlog2sql使用详解 ：http://blog.itpub.net/27067062/viewspace-2135398/binlog2sql参数# python binlog2sql/binlog2sql.py --help选项mysql连接配置-h host; -P port; -u user; -p ...
2020-07-16 15:47:04
386
原创 保证半小时恢复
【1小时延时从】使用1小时延时从库，可大大加速“删全库”恢复时间。什么是1小时延时从？如图所示，增加一个从库，这个从库不是实时与主库保持同步的，而是每隔1个小时同步一次主库，同步完之后立马断开1小时，这个从库会与主库保持1个小时的数据差距。当“删全库”事故发生时，只需要：（1）应用1小时延时从（2）将1小时延时从最近一次同步时间到，将执行“删全库”之前的binlog找到，重放快速恢复完毕。方案优点：能够快速找回数据潜在不足：万一，万一，万一，1小时延时从正在连上主.
2020-07-16 14:40:32
238
原创 mysql主从延迟设置
延迟复制背景： 1.1）系统已上线，风控及灾备考虑，单机数据库缺陷风险高； A：数据库目前是主从结构，为避免误操作，所以从库是延迟15分钟，如果发现误操作可以在15分钟内暂停从库同步，并从从库获取相关数据修复被误操作的主库。并在每天凌晨3点非业务高峰时间对mysql-master进行备份。 1.2）后续数据分析可能连接从库获取数据 A：数据分析需要确认是否有实时性要求，如果实时性要求目前延迟15分钟可能会影响分析，该延迟时间可以根据航天方具体要...
2020-07-16 14:05:51
1304
转载 mysql执行sql及慢查询监控
前言】 mysql可以记录用户执行的sql：记录到文件、表格 mysql可以定义执行多少时间以上得sql属于慢查询，也会根据配置，记录相关信息到文件、表格 【背景说明】 公司想监控记录每天执行了哪些sql，哪些sql是慢查询，然后去优化sql 【技术说明】 其实只要搞【前言】mysql可以记录用户执行的sql：记录到文件、表格mysql可以定义执行多少时间以上得sql属于慢查询，也会根据配置，记录相关信息到文件、表格【背景说明】公司想监控记录每天执行了哪些sql，哪些sql是慢查询.
2020-07-10 11:49:51
2324
原创 MySql常用函数及数据类型
MySql常用函数SQL聚集函数AVG() ------------返回某列的平均值COUNT() --------返回某列的行数MAX() ------------返回某列的最大值MIN() -------------返回某列的最小值SUM() ------------返回某列值之和常用的文本处理函数Left() ---------------返回串左边的字符Length()----------- 返回串的长度Locate()----------- 找出串的一个子串Lower()
2020-07-06 18:24:16
260
原创 为什么count(*)这么慢
不同count的用法 count()是一个聚合函数，对于返回的结果集，一行行地判断，如果count函数的参数不是NULL，累计值就加1，否则不加。最后返回累计值。 count的用法有多种，分别是count(*)、count(字段)、count(1)、count(主键id)。那么多种用法，到底有什么差别呢？当然，「前提是没有where条件语句」。 count(id)：InnoDB引擎会遍历整张表，把每一行的id值都取出来，返回给server层。server层拿到id后，判断是不可...
2020-07-06 16:26:08
1511
原创 解决Mysql 主从或主主报1062错误
1062错误——主键冲突，出现这种情况就是从库出现插入操作，主库又插入相同的数据，iothread没问题，sqlthread出错处理此种错误一般有两种思路：1、直接跳过错误执行语句2、找到错误执行语句，修复主库2数据语句跳过操作方法如下：1062 错误提示如下: Last_Errno: 1062 Last_Error: Could not execute Write_rows event on table test.test; Duplicate entry...
2020-07-06 14:14:50
7136
原创 Mysql-从库只读设置
mysql设置为只读后，无法增删改。设置命令：mysql> set global read_only=1; #1是只读，0是读写mysql> show global variables like "%read_only%";以下是相关说明： 1、对于数据库读写状态，主要靠 “read_only”全局参数来设定； 2、默认情况下，数据库是用于读写操作的，所以read_only参数也是0或faluse状态，这时候不论是本地用户还是远程访问数据库的...
2020-07-06 11:42:34
793
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人