自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(206)
  • 收藏
  • 关注

原创 mysql-orchestrator(一)配置

orcherstrator的配置涉及到很多的内容,详细可查看,下面所说的一些状态的详细解释也可以查看。

2024-05-19 16:26:32 795

原创 mysql变量-show_compatibility_56

INFORMATION_SCHEMA 表(GLOBAL_VARIABLES、SESSION_VARIABLES、GLOBAL_STATUS 和 SESSION_STATUS)

2024-01-23 15:25:38 1045

原创 doris-修改be的存储路径

因为之前的BE的数据目录在机械盘上,性能太低,打算换到SSD盘,在不改变端口且没有多余机器的情况下,更改磁盘存储位置相对来说比较方便,因为业务尚没有正常使用,所以操作起来更方便非常不推荐这种方式更改,如无必要,不要采取该方式。

2023-12-27 16:35:52 618

原创 mysql-5.6.16的内存泄漏问题

有一台物理机上一个版本为5.6.16的从库出现了内存的增高,观测其日志可以发现,这台数据库已经oom很多次了,并且stop slave的时候会卡住非常长的时间才能停止。

2023-12-27 15:55:49 633

原创 doris-升级版本

doris可以进行平滑升级,详情可根据官网查看。

2023-12-27 10:20:46 496

原创 gh-ost详解

gh-ost是MySQL的无触发器在线DDL。它是可测试的,并提供可暂停性、动态控制/重新配置、审计和许多操作特权。DDL时master会生成少量工作负载,与迁移表上的现有工作负载分离。详细内容请看。

2023-12-11 11:04:18 446

原创 proxysql-安装部署

有关proxysql的所有运维知识可以从中获取,安装的具体内容可以看。

2023-09-06 16:21:04 818 1

原创 mysql-norebuild的ddl测试

为了保证需要注意的有norebuild和ignore两种。

2023-09-06 14:08:17 306

原创 clickhouse-配置解释

这个查询可以查看query-level的value为true或者false的变量,具体值的变量无法查看。

2023-08-30 17:35:08 2095

原创 clickhouse-压测

数据集可以使用,也可以用ssb-dbgen来准备。

2023-08-24 17:13:42 933

原创 clickhouse-备份恢复

备份恢复是数据库常用的手段,可能大多数公司很少会对大数据所使用的数据进行备份,这里还是了解下比较好,下面做了一些简单的介绍,详细情况可以通过来查看,经过测试发现Disk中增量备份并不好用,而File中的增量是好用的,也可以看下开源工具的备份功能。

2023-08-17 18:11:46 1484

原创 clickhouse-数据导入导出方案

clickhouse有多种数据的导入导出方式,可以灵活使用,下面对这些方式分别做些介绍,导入导出的写法与和有关。

2023-08-17 14:55:20 4525

原创 clickhouse扩缩容

我们之前已经学会了搭建clickhouse集群,我们搭建的是一套单分片两副本的集群,接下来我们来测试下clickhouse的扩缩容情况。

2023-08-16 17:43:27 1082

原创 clickhouse集群部署

部署的详情可以看先部署两个server,三个keeper[zookeeper]clickhouse之前依赖的存储是zookeeper,后来改为了keeper,官网给出了所以这就决定了clickhouse有两种安装方式,依赖于keeper做存储或者依赖于zookeeper做存储。

2023-08-16 11:34:33 1992

原创 zookeeper-安装部署

详情可以查看。

2023-08-16 10:03:00 1298

原创 clickhouse-监控配置

监控是运维的一大利器,要想运维好clickhouse,首先就要对其进行监控,clickhouse有几种监控数据的方式,一种是系统本身监控,一种是通过exporter来监控,下面分别描述一下。

2023-08-16 09:49:32 861

原创 go-安装部署

有些时候会出现下载不了包的情况,可以用如下方式解决。详细安装方式可以查看。

2023-08-15 17:22:42 813

原创 Prometheus的搭建与使用

三、安装Prometheus官网下载地址:https://prometheus.io/download/解压:tar -zxvf prometheus-2.19.2.linux-amd64.tar.gz重命名:mv prometheus-2.19.2.linux-amd64 /home/prometheus进入对应目录: cd/home/prometheus查看配置文件:cat prometheus.yml启动:./prometheus &验证是否成功:http:/..

2023-08-15 09:47:21 997

原创 mysql-tokudb使用qa

安装tokudb引擎的前提条件是物理机要关闭大页,并需要注意物理机所剩内存和配置文件中tokudb_cache_size(内存主要占用部分),innodb_buffer_pool_size的使用,另外tokudb的安装一定要安装libjemalloc依赖,不然无法安装tokudb引擎。

2023-08-14 15:14:06 427

原创 clickhouse-安装部署

【代码】clickhouse-安装部署。

2023-08-01 17:05:45 651

原创 clickhouse-用户和角色

​。

2023-08-01 16:20:32 1988

原创 mongo-mongo数据统计脚本

可以用如下脚本来统计mongo的数据大小。

2023-06-14 19:00:20 158

原创 mysql-xtrabackup的使用

文件名用途xtrabackup的软链,目前仍可使用,但是现在已经弃用,将在下一个主要版本中删除xtrabackup提供备份功能xbcrypt用于加密和解密备份文件的程序xbstream允许流式传输文件和从中提取文件的程序xbcloud用于从云中下载或者上传的程序通过官网了解详细参数解释,下面介绍一些用到的参数参数意义是否xtrabackup独有参数通过应用位于同一目录中名为 xtrabackup_logfile 的事务日志文件(即redo),在 BACKUP-DIR 中准备备份。

2023-05-31 17:24:04 939

原创 pt工具的使用(8) pt-deadlock-logger的使用

pt-deadlock-logger 记录有关给定 DSN 上的 MySQL 死锁的信息。信息打印到 STDOUT,也可以通过指定 --dest 将其保存到表中。pt-deadlock-logger 通过轮询和解析 SHOW ENGINE INNODB STATUS 打印有关 MySQL 死锁的信息。当一个新的死锁发生时,它被打印到 STDOUT,如果指定 --dest,可以保存到对应的表中。仅打印新的死锁。

2023-05-22 16:34:54 672

原创 linux-node_exporter突然挂掉(couldn‘t get dbus connection)

突然收到一台机器挂掉的告警,去上面查看发现机器正常,uptime正常,没有重启情况,UID 20029的用户是tidb,su - tidb的时间较长,node_exporter有如下报错。

2023-04-20 17:28:23 1377

原创 pt工具的使用(7) pt-archiver的使用

pt-archiver 是归档表的工具,在 sql 中写入高效归档和清除作业。目标是在不对 OLTP 查询产生太大影响的情况下,将旧数据从表中蚕食掉,从而实现低影响、仅向前的作业。您可以将数据插入到另一个表中,而不必在同一台服务器上。您也可以将其写入适合 LOAD DATA INFILE 格式的文件。或者你两者都不能做,在这种情况下它只是一个增量删除。

2023-04-13 17:46:31 1455

原创 mongo-db相关方法

一、参数 名称 描述 db.adminCommand() 针对admin数据库运行命令。 db.aggregate() 运行不需要基础集合的管理/诊断管道。 db.cloneDatabase(hostname) 不推荐使用。当针对MongoDB 4.0或更早版本运行时,将数据库从远程主机复制到当前主机。针对MongoDB 4.2或更高版本运行时不受支持

2023-04-06 15:46:50 430

原创 mysql-online-ddl是否需要rebuild

源码地址/**/**源码地址/**public :/*/**/**/**/**初次探索源码,有很多地方可能理解的不对,之后会学习些DDL相关的如加MDL锁,rebuild等等的具体操作,欢迎各位大佬指出不足之处。

2023-03-17 19:00:38 773

原创 LINUX-df和du的统计结果不同

有一套TiDB集群,其中tikv的机器出现了磁盘报警,查看之后发现除了数据过多之外,还有node_exporter的日志过大的问题,日志内容如下可以看到,这是因为tidb会无限重启node_exporter,但是9100的端口被占用,所以一直启动不起来。

2023-03-06 15:12:47 98

原创 TIDB-analyze table所引起的Data Too Long问题

我所使用的TIDB版本是4.0.13,对于analyze 产生的data too long的问题有两种,下面分别介绍下两种问题的现象和解决方案。

2023-03-03 18:35:26 404

原创 go- rdb-bigkeys安装与故障解决

注释632-635行,然后提交变更,这里我感觉这快的version校验没有任何意义,且我的go还不太熟悉,所以这里接直接注释了,如果你有更好的办法也可以自己改。将github.com/cupcake/rdb的项目fork到自己的github账户下,只需要在github上对应项目界面点击fork按钮集合。报错原因主要是因为代码对rdb解析的时候获取版本的处理有问题。这样下来就可以正常的运行了。

2023-02-28 18:16:38 445

原创 TIDB-记录一次cdc同步报错处理

具体架构上游是tidb,经由cdc同步到mysql,同步出错的原因是因为不支持的ddl语句,一共有两个ddl同时执行以前总能碰到mysql的DDL在tidb上不支持,这种情况下的DDL是特别注意的,但是tidb用习惯后,没有注意这一点,查了才发现,确实是不支持字段的rename操作,可以通过change column等来达到效果。

2023-02-24 16:45:23 522

原创 aws-cli相关操作

s3:下载数据到本地:# BUCKET1:桶名称# dir/my_images.tar.bz2:s3中的对象# my_images.tar.bz2 复制到本地的名称# aws-cof:aws配置的项目名(将aksk配置到配件里,这样就不用在环境变量中写aksk了)aws s3api get-object --bucket BUCKET1 --key dir/my_images.tar.bz2 my_images.tar.bz2 --profile aws-cof......

2023-02-01 15:23:51 502

原创 mongo-节点出现recovering状态的处理办法

当因为mongod服务挂掉太久,或者因为网络等原因导致副本集成员跟不上oplog,就会变成recovering状态,此时有两种方式可以恢复。

2023-02-01 15:04:55 1547

原创 tidb-There are no matching table names optimizer hint /*+ HASH_JOIN(m1, m2) */

这个在tidb里是一种很常见的bug,是由于执行计划不对导致的查询报错,但是我有三个tidb,其中两个执行计划都是对的(显然这有点问题,但这不是本次讨论的重点),这样就比较好排查了。

2023-01-30 16:13:59 289

原创 mysql-闪回操作

数据库上总会有一些误操作,这时候需要闪回怎么办,有两种情况情况一:二进制日志保留在数据库server层,即通过show binary logs能查到数据库日志情况二:二进制日志不在server层,但对binlog做了备份,如rds的做法。

2023-01-17 14:42:16 628

原创 中间件-canal

官方地址:https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart。

2022-10-26 10:31:26 458 1

原创 mongo-部署副本集

【代码】mongo-部署副本集。

2022-10-25 18:21:53 170

原创 tidb-系统内核调优及对比

验证系统调优对性能的影响,用sysbench做了一些简单的测试,具体调整方法可见。

2022-08-25 11:04:06 161

原创 python-加密解密

有时候解密会报错binascii.Error: Odd-length string,这是因为长度为奇数长度,所以造成了这种情况,可以用如下方法处理。

2022-08-16 11:40:59 4772

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除