- 博客(56)
- 收藏
- 关注
RSS订阅原创 systemd管理mariadb、环境变量配置
官网地址：https://mariadb.com/kb/en/systemd/参考文章：http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-part-two.htmltips：当 MariaDB 使用systemd单元文件启动时，它直接以用户身份启动mysqld进程mysql。 该mysql不是以mysqld_safe启动. 因此，不会从配置文件的[mysqld_safe] 选项组中读取配置。在 /usr/lib/systemd/syste
2022-07-11 18:53:15
647
1
原创 redis工具 rdr
wget https://github.com/xueqiu/rdr/releases/download/v0.0.1/rdr-linuxmv rdr-linux rdrchmod +x rdr./rdr keys /tmp/tmp/dump-.rdb > key.txt 获取rdb文件中的key
2021-12-31 10:14:33
1128
原创 Mysql高可用工具orchestrator调研
文档：https://github.com/openark/orchestrator/tree/master/docs参考：https://www.cnblogs.com/zhoujinyi/p/10387581.htmlhttps://www.cnblogs.com/zhoujinyi/p/10394389.htmlhttps://ghostwritten.blog.csdn.net/article/details/106099648下载地址：https://github.com/opena
2021-06-18 18:48:13
450
原创 redis-full-check校验工具
简介redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具，通常用于redis数据迁移（redis-shake）后正确性的校验。支持：单节点、主从版、集群版、带proxy的云上集群版（阿里云）之间的同构或者异构对比，版本支持2.x-5.x。redis-full-check通过全量对比源端和目的端的redis中的数据的方式来进行数据校验，其比较方式通过多轮次比较：每次都会抓取源和目的端的数据进行差异化比较，记录不一致的数据进入下轮对比
2021-06-18 18:42:55
741
原创 redis关闭AOF持久化日志
修改参数值CONFIG SET appendonly no获取参数信息CONFIG GET appendonly刷新日志 热修改CONFIG REWRITE
2021-06-11 10:28:41
1244
原创 mysql、mariadb 数据对比 mysqldbcompare
安装wget https://cdn.mysql.com/archives/mysql-utilities/mysql-utilities-1.6.5.tar.gztar xf mysql-utilities-1.6.5.tar.gzcd mysql-utilities-1.6.5/python setup.py buildsudo python setup.py installmysqldiff --version对比mysqldbcompare --server1=username:u
2021-06-07 11:10:46
245
原创 Apache Doris安装测试
1.下载编译好的二进制文件wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-0.14.7-release-binary.tar.gz2.解压：tai -axvf DORIS-0.14.7-release-binary.tar.gz3.配置 FE配置文件为 conf/fe.conffe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。4.在FE目录下
2021-05-06 18:07:18
741
原创 ES迁移方案
背景，在线迁移当前ES集群到新机器当前：ES设计了集群分片的负载平衡机制，当有新节点加入集群或者离开集群，集群会自动平衡分片的负载分布迁移目标：平滑迁移迁移策略：关闭集群自动平衡 自动平衡可能会带来网络以及IO压力启动新节点与旧节点集群组成一个集群人工迁移集群数据到新节点外围 访问切换到新节点关闭旧节点开启集群自动平衡迁移过程：1.配置新集群2.关闭集群自动平衡GET _cluster/settings可以通过动态方式更新：#禁用集群新创建索引分配 禁用此选项将
2021-04-14 14:14:36
1143
1
原创 redis bigkey查找
线上监控显示，三主三从得redis中有一主一从的内存使用率明显高于其他机器，怀疑存在bigkey步骤：从库登录redis执行bgsave 可以通过ps -ef | grep bgsave 查看进程压缩文件 zip /tmp/rdb.zip dump-6379.rdb拷贝文件至测试机，原机器/data/python-3.5.2/bin/python3 -m http.server测试机限速下载 wget --limit-rate=30m hostname:8000/rdb.zip测试机解
2021-03-01 14:36:44
621
原创 HBASE集群迁移
1.测试搭建测试环境 2个hbase资源：2台虚拟机 搭建伪分布式环境步骤：1.免密登录ssh-keygen 回车cd ~/.ssh/cat id_rsa.pub >> authorized_keyschmod 600 authorized_keys此时可以免密登录localhost2.安装javatar zxvf jdk-8u171-linux-x64.tar.gzmv jdk1.8.0_161/ /usr/local/java/vim /etc/profile
2021-02-22 11:55:31
287
原创 mysql数据导出导入
1.select into outfile 导出 LOAD DATA INFILE into 导入语法：SELECT ... INTO OUTFILE 'file_name' [CHARACTER SET charset_name] [export_options] export_options: [{FIELDS | COLUMNS} [TERMINATED BY 'string'] [[OPTIONALLY] ENCLOSE
2020-08-19 13:23:15
148
原创 Percona Toolkit使用测试（14）PT-PMP
pt-pmp执行两项任务:获取堆栈信息，并总结堆栈信息。如果在命令行上给出一个文件，该工具将跳过第一步，只聚合文件。为了总结堆栈跟踪，该工具从堆栈的每一层提取函数名(符号)，并将它们与逗号组合起来。它对输出中的每个线程都这样做。然后，它将相似的线程排序在一起，并计算每个线程的数量，根据调用频繁程度从高到低打印出来。pt-pmp是一个只读工具。但是，收集GDB堆栈跟踪是通过将GDB附加到程序并从...
2019-06-19 18:19:38
734
2
原创 Percona Toolkit使用测试（13）PT-MYSQL-SUMMARY
pt-mysql-summary - 很好地总结MySQL信息。pt-mysql-summary方便地总结了MySQL数据库服务器的状态和配置，以便您可以快速了解它。它不是一个调优工具或诊断工具。它生成一个易于区分的报告，可以粘贴到电子邮件中而不丢失格式。它应该可以在任何现代UNIX系统上很好地工作。pt-mysql-summary通过连接到MySQL数据库服务器并查询它的状态和配置信息来工作...
2019-06-19 17:36:15
319
原创 Percona Toolkit使用测试（12）PT-MEXT
PT-MEXT-对比每次SHOW GLOBAL STATUS的结果pt-mext执行指定的命令，每次读取一行结果。它将每一行放入一个临时文件中。当它发现一个空行时，它假设一个新的SHOW GLOBAL STATUS示例正在启动，并创建一个新的临时文件。在这个过程的末尾，它有一些临时文件。它将临时文件并排连接在一起并打印结果。如果指定了–relative参数，在打印结果之前，它首先从后一个样本中...
2019-06-19 15:33:27
375
原创 Percona Toolkit使用测试（11）PT-KILL
pt-kill - 删除匹配特定条件的MySQL查询。pt-kill杀死MySQL连接。pt-kill连接到MySQL，如果没有给定文件，则从SHOW PROCESSLIST获取查询。杀死运行时间超过60秒的查询:打印出运行时间超过60秒的查询:检查睡眠进程，每隔10秒杀死一次:：打印所有登录的进程:查看processlist中现在匹配哪些查询:描述pt-kill从SH...
2019-06-19 14:42:37
359
原创 Percona Toolkit使用测试（11）PT-IOPROFILE（运行不成功）
PT-IOPROFILE——观察IO进程并打印文件表和I/O活动。pt-ioprofile做两件事:1)获取lsof+strace 每秒，2)聚合结果。如果指定文件，则不执行步骤1)。pt-ioprofile使用strace和lsof监视进程的IO，并打印出文件表和I/O活动。默认情况下，它将监视mysqld进程30秒。输出如下:ioprofile的工作原理是使用ptrace()将stra...
2019-06-18 17:32:12
964
原创 Percona Toolkit使用测试（10）PT-INDEX-USAGE
pt-index-usage：从日志中读取查询并分析它们如何使用索引。分析慢查询日志的语句并打印报告：禁用报告，保存结果到数据库：该工具连接到MySQL数据库服务器，读取查询日志，并使用EXPLAIN询问MySQL将如何使用每个查询。当它完成时，它打印出一个关于查询没有使用的索引的报告。查询日志需要采用MySQL的慢查询日志格式。如果需要输入不同的格式，可以使用pt-query-dig...
2019-06-18 15:32:36
1247
原创 Percona Toolkit使用测试（9）PT-HEARTBEAT
PT-HEARTBEAT——监控MySQL复制延迟。工作原理：1，在主上创建一张heartbeat表，按照一定的时间频率更新该表的字段（把时间更新进去）。2，从主库连接到从上检查复制的时间记录，和从库的当前系统时间进行比较，得出时间的差异。使用：pt-heartbeat测量MySQL或PostgreSQL服务器上的复制延迟。您可以使用它来更新主服务器或监视副本。如果可能，MySQL连接...
2019-06-13 10:53:38
353
原创 Percona Toolkit使用测试（8）PT-FK-ERROR-LOGGER
pt-fk-error-logger - 记录mysql外键错误日志pt-fk-error-logger在给定的DSN上记录关于外键错误的信息。信息被打印到STDOUT，也可以通过指定- -dest保存到表中。除非指定了- -run-time 或 - -iterations，否则该工具将永远运行。如：打印host1上的外键错误pt-fk-error-logger h=host1打印一次h...
2019-06-12 11:34:37
285
原创 Percona Toolkit使用测试（7）PT-FINGERPRINT
pt-fingerprint——将一类SQL语句转换成绑定变量的模式单个语句转换：pt-fingerprint --query “select a, b, c from users where id = 500”文件语句转换：pt-fingerprint /path/to/file.txtpt-fingerprint是查询的抽象形式，这使得将类似的查询组合在一起成为可能。抽象查询删除了...
2019-06-12 10:40:52
769
原创 Percona Toolkit使用测试（6）PT-FIND
PT-FIND —— 查找MySQL表并执行操作，如GNU查找概要使用：pt-find [OPTIONS] [DATABASES]pt-find搜索MySQL表并执行操作，如GNU find。默认操作是打印数据库和表名。查找一天以上创建的所有使用MyISAM引擎的表，并打印它们的名称:pt-find --ctime +1 --engine MyISAM查找InnoDB表，并将其转...
2019-06-11 17:04:37
431
原创 Percona Toolkit使用测试（5）PT-FIFO-SPLIT
pt-fifo-split 不使用真正的拆分，将文件和管道分裂到FIFOpt-fifo-split将文件和管道拆分到FIFO,没有文件，或文件为-时，读取标准输入.在不进行物理拆分的情况下，以百万行为单位读取hugefile.txt：该工具可用于 把大批量的sql语句进行拆分pt-fi -split允许您从文件中读取数据，就好像它只包含文件中的一些行一样。当你再读一遍时，它包含了下一行;...
2019-06-11 11:03:48
251
原创 Percona Toolkit使用测试（4）PT-DUPLICATE-KEY-CHECKER
pt-duplicate-key-checker——查找MySQL表上的重复索引和外键。pt-duplicate-key-checker检查MySQL表中的重复或冗余索引和外键。连接配置从MySQL配置文件中读取。如：pt-duplicate-key-checker --host host1这个程序检查MySQL表上SHOW CREATE TABLE的输出，如果它发现与另一个索引以相同顺序...
2019-06-10 17:56:29
511
原创 Percona Toolkit使用测试（3）PT-DISKSTATS
pt-diskstats —— 一个用于GNU/Linux的交互式I/O监视工具。pt-diskstats打印GNU/Linux的磁盘I/O统计数据。它有点类似于iostat，但它是交互式的，而且更加详细。它可以分析从另一台机器上收集的样品。描述 pt-diskstats工具类似于iostat，但是有一些优点。它单独打印读和写统计信息，并且有更多的列。它是菜单驱动和交互式的，有几种不同的方式...
2019-06-10 16:14:45
296
原创 mysql kill进程后出现killed死锁问题（续）
kill掉持续很长时间的ddl sql后，由于回滚会给表带来一个长时间的写锁，有着急操作的同学就想重启数据库，但是在数据库开启后锁依然存在，因为这是mysql为了保证数据的事务特性的功能（其实应该庆幸这个功能存在，虽然有时候我们不希望它发挥功能）。于是有人想到是否可以通过修改mysql参数 使数据库重启后不回滚呢？所以我测试了一下：修改参数innodb_force_recovery=3该参数...
2019-06-06 17:01:34
8321
原创 Percona Toolkit使用测试（2）PT-CONFIG-DIFF PT-DEADLOCK-LOGGER
pt-config-diffpt-config-diff的功能是diff（判断差异）不同的MySQL配置文件以及不同的服务器变量设置。即diff出MySQL实例之间的不同配置pt-config-diff h=host1 h=host2pt-config-diff /etc/my.cnf h=host1pt-config-diff /etc/my-small.cnf /etc/my-larg...
2019-06-06 11:56:21
351
原创 Percona Toolkit使用测试（1）PT-ALIGN、PT-ARCHIVER
1.PT-ALIGNpt-align—— 将其他工具的输出对齐到列。pt-align读取行并将它们分成单词。它计算每行有多少个单词，如果有一个占主导地位的数字，它假设这是每行单词的数量。然后它丢弃所有没有那么多单词的行，然后看第二行。它假设这是第一个非标题行。根据每个单词看起来是否像数字，它决定列对齐。最后，它遍历并决定每个列的宽度，然后将它们打印出来。这对于调整vmstat或iostat的输...
2019-06-05 15:36:00
371
翻译 服务器状态变量(SHOW GLOBAL STATUS;)
MySQL服务器维护许多状态变量，这些变量提供关于其操作的信息。可以使用SHOW [GLOBAL | SESSION] STATUS语句查看这些变量及其值。可选的GLOBAL关键字聚合所有连接上的值，SESSION显示当前连接的值。FLUSH STATUS会把许多状态值刷新为0；1.Aborted_clients由于客户端未正确关闭连接而终止的连接数。如果客户机成功连接，但后来不正确的断...
2019-05-24 18:30:14
6476
原创 取消外键约束检查
mysql由于外键的约束经常出现删除表行时被外键阻止的情况设置参数set foreign_key_checks=0即可忽略外键约束，删数据删表都可以
2019-05-15 14:45:20
1785
原创 批量杀死mysql进程
mysql经常出现大批僵尸进程没有关闭或大量慢查询进程导致cpu等负载报警情况，下面的语句用来生成批量kill连接的sql语句，方便dba杀死进程。按照ip生成杀死进程语句；select concat(‘kill ‘,id,’;’) from information_schema.processlist where host like ‘192.168.2.187%’按照用户名生成杀死进程语...
2019-05-15 14:42:55
2405
原创 (mariadb)gtid的pos组成
全局事务ID(简称GTID)由三个用破折号“-”分隔的数字组成。例如:0-1-10第一个数字0是域ID，它是特定于全局事务ID的。它是一个32位无符号整数。第二个数字是服务器ID，与老式复制中使用的数字相同。它是一个32位无符号整数。第三个数字是序号。这是一个64位无符号整数，对于登录到binlog中的每个新事件组，该整数单调递增。...
2019-05-15 14:38:41
326
原创 MySQL index简介
explainEXPLAIN语句提供关于MySQL如何执行语句的信息。EXPLAIN可以与SELECT、DELETE、INSERT、REPLACE和UPDATE语句一起工作。一、Innodb存储引擎清理碎片方法ALTER TABLE tablename ENGINE=InnoDB二、Myisam存储引擎清理碎片方法 OPTIMIZE TABLE table_name ...
2019-05-15 14:36:43
596
原创 大表在线更改表结构 pt-online-schema-change
1. pt-osc工作过程1.创建一个和要执行 alter 操作的表一样的新的空表结构(是alter之前的结构)2.在新表执行alter table 语句（速度很快）3.在原表中创建触发器3个触发器分别对应insert,update,delete操作4.以一定块大小从原表拷贝数据到临时表，拷贝过程中通过原表上的触发器在原表进行的写操作都会更新到新建的临时表5.Rename 原表到old表...
2019-05-15 14:33:53
511
原创 mysql主从搭建
AB复制主要通过2个线程实现：从库上的I/O线程：从主库上把bin-log下载到从库后，放到从库的Relay-log中。SQL线程：把Relay-log中的动作，在从库上做一次。配置文件：主从需要有不同的server_id主库需要开启binlog日志master:vim /etc/my.cnf 【在主库开启bin-log日志】[mysql]server_id = 1log...
2019-05-15 14:16:23
86
原创 xtrabackup备份及恢复
1.安装备份工具2.解压unzip xtrabackup.zip (yum install -y unzip zip)（ tar -xvf Percona-XtraBackup-2.4.10-r3198bce-el6-x86_64-bundle.tar）建议在当前目录yum -y install *.rpm 安装ok{需要安装mysql这个包rpm -ivh mysql-commun...
2019-05-15 14:00:50
307
原创 部分表迁移到新机器，并对源库做主从实时更新
创建主从步骤：1.修改从库配置replicate-rewrite-db = source_database-> new_databasereplicate-wild-do-table=new_database.table1replicate-wild-do-table=new_database.table2replicate-wild-do-table=new_database.t...
2019-05-15 11:15:14
134
原创 xtrabackup单表恢复
1.先全备innobackupex --user=root --password=‘123456’ --port=3309 --socket=/data/mariadb/3309/3309.sock --slave-info /backup/2.export恢复导出表是在准备阶段完成，而不是在创建备份的时候。一旦创建完成了一个备份，使用 --export 选项来准备：innobackup...
2019-02-13 20:24:55
826
翻译 mysql variables（3）
sql_quote_show_create如果启用(默认)，服务器将引用SHOW CREATE TABLE和SHOW CREATE DATABASE语句的标识符。如果禁用，则禁用引用。默认情况下启用此选项，以便复制可用于需要引用的标识符。sql_require_primary_key创建新表或更改现有表结构的语句是否强制要求表具有主键。设置此系统变量的会话值是一个受限制的操作。会话用户...
2019-01-23 14:30:33
893
翻译 mysql variables（2）
named_pipe属性值系统变量named_pipe范围Global,动态yes类型Boolean默认值off平台Windows（仅限Windows。）指示服务器是否支持通过命名管道进行连接。named_pipe_full_access_group属性值系统变量named_pipe_full_acce...
2019-01-23 11:29:28
1616
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人