工具
文章平均质量分 50
_梓杰_
保持热爱,奔赴山海
展开
-
MySQL基于复制线程实现MTS并行恢复binlog
通过SQL_Thread的方式可以使用主从本身并行复制的能力,在binlog越多且并行度越好的场景上表现越好。可以断点恢复,人为控制进度,比如stop slave或者遇到错误时,可以断点恢复可以利用多线程复制来加快增量速度,时恢复更快要关闭mysqld手动执行过程较mysqlbinlog方式更为复杂。原创 2023-07-30 21:34:04 · 303 阅读 · 0 评论 -
MySQL新增唯一索引造成数据丢失问题
【代码】MySQL新增唯一索引造成数据丢失问题。原创 2023-05-27 00:51:44 · 946 阅读 · 0 评论 -
基于Holt-Winters方法对资源进行预测
基于Holt-Winters方法进行预测原创 2023-03-14 01:00:00 · 460 阅读 · 0 评论 -
通过修改db重置grafana密码
重置grafana密码原创 2023-03-05 18:25:04 · 106 阅读 · 0 评论 -
使用packetbeat对MySQL进行网络抓包
使用packetbeat对MySQL进行网络抓包原创 2023-02-18 22:16:12 · 1139 阅读 · 0 评论 -
ELK采集MySQL慢日志实现
使用ELK采集mysql慢日志进行统计分析原创 2023-02-14 23:38:29 · 3235 阅读 · 0 评论 -
orchestrator常用命令
orchestrator-client是客户端命令(/usr/local/orchestrator/resources/bin)orchestrator是服务端命令(/usr/local/orchestrator)orchestrator#discover用于发现实例以及该实例的主、从库信息,将获取到的信息写入后台数据库database_instance等相关表/usr/local/orchestrator/orchestrator --config=/usr/local/orchestrat.原创 2022-05-04 20:56:20 · 687 阅读 · 0 评论 -
数据库抓包工具go-sniffer
文章目录 go-sniffer支持mysql,redis,mongodb,http等go-sniffer --help==================================================================================[Usage] go-sniffer [device] [plug] [plug's params(optional)] [exp] go-sniffer en0 redis原创 2022-01-16 22:31:59 · 1055 阅读 · 0 评论 -
MySQL数据恢复“天花板“
文章目录一、背景二、DML导致数据丢失2.1 binlog闪回三、DDL导致数据丢失/数据文件损坏3.1 全备+binlog3.2 延迟从库[不常用,性价比不高]3.3 fd恢复3.4 三方工具恢复3.4.1 extundelete(ext4)3.4.2 undrop-for-innodb五、总结一、背景 在我们使用数据库时,难免会碰到数据被误删的情况,可能是业务错误操作、代码bug;也有可能是运维操作失误等等;但是我们可以将所有操作分为以下几类:DML导致数据丢失DDL导致数据丢失数据文件损原创 2022-01-02 22:46:50 · 776 阅读 · 0 评论 -
orchestrator的failover
文章目录一、自动切换二、手动切换2.1 recover2.2 force-master-failover2.3 force-master-takeover2.4 graceful-master-takeover一、自动切换orchestrator自动切换需要满足以下条件:主库是downtime的集群不进行故障切换。如果希望忽略集群故障,可以设置downtime。处于故障活跃期的集群不进行故障切换(即in_active_period=1)只对配置项RecoverMasterClusterFilte原创 2021-12-26 21:46:09 · 380 阅读 · 0 评论 -
Orchstrator集群拓扑发现
文章目录这里涉及到两个参数:HostnameResolveMethod、MySQLHostnameResolveMethodHostnameResolveMethod有三个选项:"cname"、"default"、"none"cname:通过CNAME做域名解析(resolve hostname)default:不做特别的解析, no special resolving via net protocolsnone:do nothingMySQLHostnameResolveMethod有三个原创 2021-12-26 02:01:28 · 366 阅读 · 0 评论 -
MySQL高可用工具Orchestrator raft模式部署
orchestrator原创 2021-12-19 23:39:46 · 1461 阅读 · 0 评论 -
MySQL高可用架构Orchestrator配置文件详解
{#是否开启debug模式 "Debug": true,#是否记录到系统日志 "EnableSyslog": false,#web 端口 "ListenAddress": ":3000",#被管理数据库用户 "MySQLTopologyUser": "orc_client_user",#被管理数据库密码 "MySQLTopologyPassword": "orc_client_password",#被管理的MySQL的用户密码配置文件 "MySQLTopologyCred原创 2021-12-16 01:01:18 · 2834 阅读 · 0 评论 -
git常用命令
#用户git config --global user.name "Administrator"#邮箱git config --global user.email "[email protected]"local 只对当前仓库有效global 所有仓库有效system 对系统所有用户有效#查看配置git config --list --localgit config --list --globalgit config --list --system#清除配置git config原创 2021-11-13 20:26:13 · 219 阅读 · 0 评论 -
基于小米SAOR实现SQL自助优化接口
#!/usr/bin/python3# -*- coding: UTF-8 -*-import pymysqlimport osimport jsonimport timeimport loggingimport subprocessfrom connect_db_forbatch import connect_mysqlfrom flask_cors import *os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'fro原创 2021-10-24 14:48:31 · 212 阅读 · 0 评论 -
GDB修改mysql变量
有时候我们会碰到mysql连接数打满报错ERROR 1040 (HY000): Too many connections或者一些其他需要修改变量但又无法在线修改的场景;可以尝试通过GDB实现,生产慎用gdb -p ${pidof mysqld} -ex "set max_connections=512" -batch...原创 2021-09-21 21:33:59 · 169 阅读 · 0 评论 -
使用tcpkill工具kill mysql连接
## 按照IP查看连接数前10的应用服务器netstat -ano | grep 3306 | \awk '{print $5}'|awk -F':' '{print $1}'| \awk '{a[$1]++}END{for (j in a) print j":"a[j]}' | \sort -n -r -t ":" -k 2 |head -n 10## kill与3306端口建立的所有连接tcpkill -i eth0 port 3306## kill与服务器xxx和xxx建立的所有连接t原创 2021-09-21 21:29:38 · 196 阅读 · 0 评论 -
dsniff
Dsniff是一个工具集,主要分为四类:纯粹被动地进行网络活动监视的工具,包括:dsniff、filesnarf、mailsnarf 、msgsnarf、urlsnarf、webspy;针对SSH和SSL的MITM(Man-In-The-Middle)"攻击"工具,包括sshmitm和webmitm;发起主动欺骗的工具,包括:arpspoof、dnsspoof、macof;其它工具,包括tcpkill、tcpnicedsniff: 一个密码侦测工具,他能够自动分析端口上收到的某些协议的数据包,并原创 2021-09-21 21:16:48 · 1456 阅读 · 0 评论 -
goinception执行逻辑
一、审核阶段 goInception在收到sql语句后,先会解析注释中的远程数据库配置,并建立连接如果开启了备份功能,则会检查binlog日志是否开启判断语法开始位置,必须以 inception_magic_start 语法开始开始逐行解析,并进行语法树解析,失败时返回解析到use dbtest,会通过show databases判断数据库是否存在解析到create table table1…,接下来进行建表的校验判断库、表是否存在表名、列名长度校验,关键字校验存储引擎校验,表/列的字符原创 2021-08-29 21:22:20 · 433 阅读 · 0 评论 -
pt-osc/gh-ost原理
pt-osc1、相关环境参数检查show、select、set2、创建新表进行变更SHOW CREATE TABLE `sbtest`.`t1`CREATE TABLE `sbtest`.`_t1_new`ALTER TABLE `sbtest`.`_t1_new` 3、创建触发器CREATE TRIGGER `pt_osc_sbtest_t1_del` AFTER DELETE ON `subtest`.`t1` FOR EACH ROW DELETE IGNORE FROM `sbt原创 2021-06-27 21:16:53 · 482 阅读 · 0 评论 -
goinception审核规则
#备份ip backup_host xxx#备份密码 backup_password xxx #备份端口backup_port 33071 #备原创 2021-06-25 20:23:52 · 1200 阅读 · 0 评论 -
goinception审核等级
#alter语句合并er_alter_table_once = 1#自增列限制er_auto_incr_id_warning = 0er_autoinc_unsigned = 0BLOB、TEXT、GEOMETRY或JSON列没有有默认值。er_blob_cant_have_default = 1#不支持changeer_cant_change_column = 0#不能更改列位置er_cant_change_column_position = 2#不能设置字符集xxxer_cant原创 2021-06-24 15:37:27 · 644 阅读 · 0 评论 -
gitlab部署
文章目录一、gitlab简介二、搭建git仓库三、常用配置一、gitlab简介 GitLab是一个利用 Ruby on Rails 开发的开源应用程序,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目。二、搭建git仓库安装基础依赖包yum install -y curl policycoreutils-python openssh-serversystemctl enable sshdsystemctl start sshd安装Postfix#安装postf原创 2021-06-16 00:42:26 · 215 阅读 · 0 评论 -
数据同步工具MongoShake
文章目录一、MongoShake1.1 MongoShake简介1.2 应用场景1.3 基本特性二、方案2.1 多活方案2.2 容灾方案三、验证3.1 环境介绍3.2 功能验证3.2.1 多活验证3.2.2 容灾验证四、问题总结一、MongoShake1.1 MongoShake简介 MongoShake是一个以go语言编写的通用的平台型服务,通过读取MongoDB集群的Oplog日志,对MongoDB的数据进行复制,后续通过操作日志实现特定需求。 MongoShake从源库抓取oplog数据原创 2021-03-24 16:20:50 · 1850 阅读 · 0 评论 -
自动化运维之Ansible playbook
文章目录一、Ansible playbook介绍二、playbook格式2.1 基本格式2.2 核心元素2.3 基本组件2.4 举例一、Ansible playbook介绍 playbook 是 ansible 用于配置,部署,和管理被控节点的剧本。通过执行playbook中的一系列 tasks ,可以让远端主机达到预期的状态。playbook 就像 Ansible 控制器给被控节点列出的的一系列 to-do-list ,而被控节点必须要完成。二、playbook格式2.1 基本格式 play原创 2021-03-21 22:31:23 · 281 阅读 · 0 评论 -
自动化运维工具ansible
文章目录一、ansible介绍一、ansible介绍 ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible是基于 paramiko 开发的,并且基于模块化工作,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。ansible不需要在远程主机上安装client/agents,因为它们是基于ssh来和远程主机通讯的。...原创 2021-03-20 17:10:54 · 355 阅读 · 1 评论 -
sysbench压测工具使用指南
文章目录原创 2021-03-17 21:02:13 · 634 阅读 · 2 评论 -
binlog解析工具—my2sql
文章目录一、工具介绍1.1 工具对比1.2 用途1.3 限制1.4 性能对比二、工具使用2.1 参数说明2.2 使用案例一、工具介绍 my2sql是go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等,本工具基于my2fback、binlog_rollback工具二次开发而来。1.1 工具对比binlog2sql:P原创 2021-03-15 10:55:58 · 2288 阅读 · 0 评论 -
制作yum仓库(以clickhouse为例)
文章目录一、安装repository扩展包和createrepo二、创建存储库目录三、下载安装包四、自建仓库一、安装repository扩展包和createrepoyum install yum-utils createrepo -y二、创建存储库目录mkdir -p /repository/clickhouse三、下载安装包yum install --downloaddir=/repository/clickhouse/ clickhouse-client.noarch clickhous原创 2020-11-02 00:08:12 · 328 阅读 · 0 评论 -
Archery SQL审核平台调研
文章目录一、工具介绍二、安装2.1 基础环境安装2.2 数据库驱动安装2.3 数据库安装2.4 nginx安装2.5 archery安装一、工具介绍 Archery是archer的分支项目,定位于SQL审核查询平台,旨在提升DBA的工作效率,支持多数据库的SQL上线和查询,同时支持丰富的MySQL运维功能,所有功能都兼容手机端操作。功能清单查询审核执行备份数据字典慢日志会话管理账号管理参数管理数据归档MySQL√√√√√√√√√√Ms原创 2020-10-28 23:58:22 · 1755 阅读 · 0 评论 -
PT工具3.0版本详解(持续更新中)
#格式化输出 vmstat | pt-alignr b swpd free buff cache si so bi bo in cs us sy id wa st4 0 7936 248772 120240 750980 0 0 199 476 29 14 1 0 98 1 0#监控磁盘 pt-diskstats #记录MySQL外键错误pt-fk-error-logger u=root,p=970125,h=127.0.0.1,原创 2020-06-14 23:20:18 · 1134 阅读 · 0 评论 -
MySQL数据闪回工具
binlog2sql安装及基本使用binlog2sql是什么安装binlog2sqlbinlog2sql安装包及依赖包安装步骤binlog2sql优缺点优点缺点binlog2sql使用要求及命令使用要求基本用法命令选项解析模式解析范围控制对象过滤注意点binlog2sql是什么binlog2sql大众点评开源的一个 MySQL 闪回工具。可以解析SQL并生成回滚SQL。安装binlog2sq...原创 2020-06-07 21:23:32 · 1080 阅读 · 0 评论 -
Yearning 开源SQL审核平台安装使用
一、Yearning简介 Yearning 是MYSQL SQL语句审核平台。提供查询审计,SQL审核等多种功能。Yearning 1.x版本需inception提供SQL审核及回滚功能。Yearning 2.0开始无需依赖Inception,已自己实现了SQL审核/回滚功能 本文版本为Yearning2.2.0。二、安装下载地址https://github.com/cook...原创 2020-03-01 22:13:30 · 3267 阅读 · 0 评论 -
小米开源工具SOAR&SOAR-WEB
一、简介1.1 SOAR SOAR 是一个对 SQL 进行优化和改写的自动化工具。 由小米人工智能与云平台的数据库团队开发与维护。下载地址:https://github.com/XiaoMi/soar/releases/download/0.11.0/soar.linux-amd641.1.1 功能特点跨平台支持(支持 Linux, Mac 环境,Windows 环境理论上也支持...原创 2020-03-01 14:33:28 · 4852 阅读 · 0 评论 -
Redis性能监控及优化
文章目录Redis性能监控及优化一、Redis性能指标1.1 Redis性能压力1.2.1 Server1.2.2 Clients1.2.3 Memory1.2.4 Persistence1.2.5 Stats1.2.6 Replication1.2.7 CPU1.2.8 Cluster1.2.9 Keyspace1.2.10 Commandstats二、Redis监控工具2.1 Promethe...原创 2019-08-27 09:23:58 · 2010 阅读 · 2 评论