- 博客(658)
- 收藏
- 关注
RSS订阅原创 MySQL通过主从同步方式进行数据迁移
本文详细记录了TB级MySQL数据库迁移的全过程，包含准备工作、数据导出导入、主从同步搭建及收尾工作。关键步骤包括：搭建新主从环境、配置参数文件、检查主从同步状态、使用mysqldump导出数据、调整超时参数后导入数据、建立主从关系。特别提醒注意事项：避免大查询阻塞、确保磁盘空间充足、检查GTID设置、及时回收dump空间。迁移完成后需修改新主库参数、清理临时账号，最终实现数据库的无缝切换。整个流程涉及大量细节处理，为大型MySQL迁移提供了可参考的操作指南。
2025-11-29 16:54:39
1975
原创 各类数据库如何仅授权用户访问元数据
最近收到业务需求，希望对各类数据库的业务表进行打标，需要创建用户可以访问DB中业务表的元数据，但又不能访问实际数据。经过对各类DB的测试，基本得到授权语句，记录一下。以上只是针对单个实例进行操作时可以直接设置，但如果需针对大量实例，仍需批量化方案。目前只是一些思路，尚未正式验证。
2025-11-02 17:29:41
264
原创 谁变了？记一次深藏的MySQL主从同步中断
业务MySQL主从同步中断，因主从库GTID模式不一致（主ON从OFF）。修复需按步骤逐步修改GTID模式。调查发现，问题根源是2023年从库搭建时未更新参数文件，导致主库OOM重启后读取到原始ON配置。此次事件暴露了监控告警系统的不足：同步中断告警级别低、进程监控间隔过长、操作系统告警缺失以及对内存监控的忽视。问题历时2年才因主库意外重启暴露，需完善监控体系并规范配置变更流程。
2025-09-20 23:30:39
2208
原创 云服务扫盲笔记（2） —— SLS 接入与设置自动化
前篇我们学习了SLS的核心用途及概念，本篇以将一个linux服务器的json格式日志接入阿里云SLS为例，继续学习SLS接入中的关键设置及注意事项，以及如何将其实现简单自动化快速操作。
2025-09-07 18:18:25
2526
原创 云服务扫盲笔记（1） —— SLS 日志服务 概念篇
最近因为工作需要频繁接触到云服务，种类繁多云里雾里，打算整理一个扫盲笔记。以dba视角快速入门核心产品，笔记会侧重于了解其主要功能、整体架构、核心概念，以及如何与其他产品（例如数据库）结合，而非具体如何搭建、配置、使用。
2025-08-16 16:31:32
1153
原创 JIRA工单逾期自动提醒系统技术实践
本文介绍了一个JIRA工单逾期自动化提醒系统，通过Python脚本定时检测JIRA系统中的工单状态，实现智能提醒功能。系统主要特点包括：1）通过JIRA API批量获取工单数据并单独查询最新注释；2）按照部门分级设置不同逾期规则（一级部门2个工作日内逾期，二级部门根据优先级提前2-5天提醒）；3）采用缓存机制优化性能；4）自动跳过已回复工单避免重复提醒；5）输出格式化消息适配企业微信等通知渠道。系统解决了JIRA数据一致性、API调用频率等难点，显著提升了运维效率和风险管控能力。
2025-07-20 11:13:00
1751
1
原创 记一次波折的 cursor 生成代码抓取《数据库内核月报》
总结我们的对话，我应该给你什么样的提示词，能让你在第一次就生成这段目标代码呢你可以对照每个函数和代码块，理解它在整个流程中的作用。重点和难点都在内容解析、图片处理、多线程和健壮性上，代码中都有明确实现。
2025-05-07 00:46:04
1862
原创 cursor 助力一键备份博客至本地
最近也试玩了下cursor，自动生成代码的功能确实好用又强大，起码对于日常运维要用的脚本足够了。具体的安装和用法网上教程很多，这里只侧重记录一些测试过程及小技巧。之所以选择这个案例测试，一是因为有这个需求，二是因为之前简单学习过爬虫的课程，能明确对比，当时断断续续看了一周课程，而这个代码从萌生需求到实现和优化完成，不到半个小时，效率提升惊人。
2025-05-06 01:17:51
1760
原创 阿里云Clickhouse 冷热数据分层存储 实战记录
这个是文档中完全没有提及的部分，可以看到，在不到两个小时，inode使用率从接近0快速涨到100%，且meta节点无法在界面扩容，后联系阿里云紧急在后台为meta节点扩容才恢复。某业务Clickhouse库月数据增长超过2.5T，云上Clickhouse容量并不是无限的，单节点有32T上限，而业务已使用一半以上，依此速度，半年内就将达到上限。热数据：访问频次较高的数据，存储在热数据盘（即创建集群时所选的ESSD云盘或高效云盘）中，满足高性能访问的需求。增量数据：默认情况下，增量数据也将按照新策略进行存储。
2025-04-19 17:18:54
3293
1
原创 向量数据库学习笔记（3） —— pgvector 最佳实践
注意：不要将maintenance_work_mem设置过高，以免耗尽服务器内存。：pgvector 通过预写日志（WAL）实现，兼容主从复制和时间点恢复（PITR）。朋友越多，找人时越容易通过朋友链找到目标，但维护朋友关系也更费内存和时间。值越大，图的连通性越强，搜索路径更多，召回率（Recall）更高。值越大，搜索时考察的潜在相似向量越多，召回率越高，但查询速度越慢。值越大，构建的图质量越高，搜索精度更高，但索引构建速度越慢。- 在构建索引时，动态保留的候选向量数量（默认为。
2025-04-15 00:23:02
3222
1
原创 向量数据库学习笔记（2） —— pgvector 简介与用法
pgvector 是一款开源的、基于pg的、向量相似性搜索 插件，将您的向量数据与其他数据统一存储在pg中。
2025-03-29 23:00:58
3160
1
原创 postgresql源码学习（61）—— FSM的作用与原理
FSM的空间管理中，没有细粒度到数据页的每个比特，而是将最小单元定义为页大小（BLCKSZ）的256分之一，也就是说，在默认8KB数据页的大小下，从FSM的角度观察，它有256个单元。堆中的每个叶子节点都对应一个数据页，叶子节点上记录的是数据页的可用单元的个数，例如，上图中P1中当前包含了6个空闲单元。每个非叶子节点上的记录的则是它的子节点中较大的可用数目。这样一个大根堆的结构，在实际存储的时候是以以为数组的形式保存的，利用完全二叉树中父子节点的关系来进行堆节点的访问。常用的两个操作：查找和更新。
2025-03-10 09:33:49
2602
1
原创 postgresql源码学习（59）—— 磁盘管理器 SMGR
PostgreSQL 的磁盘管理器（Storage Manager，简称 SMGR）是数据库系统中负责管理底层存储的核心模块。磁盘管理器并非直接操作磁盘上的文件，而是通过VFD（虚拟文件描述符，将在后续学习）实现。抽象存储层，解耦存储逻辑SMGR 提供了一层抽象接口，屏蔽了不同存储类型（如表、索引、TOAST 表等）的底层细节，使上层模块（如执行器、缓冲池）无需关心具体的存储实现。管理文件操作SMGR 负责文件的创建、删除、扩展、截断等操作，确保数据文件能够高效地存储和访问。支持多种存储类型。
2025-02-12 00:04:12
2149
1
转载 容灾方法论文章记录
网上的一些容灾方法论文章https://developer.aliyun.com/article/696305?spm=a2c6h.13262185.profile.13.592f57cciThLfshttps://developer.aliyun.com/article/696308?spm=a2c6h.13262185.profile.12.592f57cciThLfshttps://www.docin.com/p-383693372.htmlhttps://slideplayer.com/s
2025-01-12 09:59:58
1193
原创 elasticsearch ES DBA常用语句
curl -uelastic 连接串:端口/_cat/indices?curl -uelastic 连接串:端口/_cluster/health?curl -uelastic 连接串:端口/_cat/allocation?集群健康有三种状态：green,yellow,red。查看各节点大小数据（主要看数据是否分布不均）可以按索引名称或其他字段排序。
2024-10-06 22:05:33
2236
1
原创 AWS MySQL 升级（二）—— MySQL API逻辑同步升级操作步骤
停复制进程，记录 Master_Log_File 和 Exec_Master_Log_Pos，建议执行2次。源库的IP地址，需要ping 源库的连接串获取，并且将此ip添加到新库的安全组中。选择创建只读副本，等待创建完成即可，大库耗时较长，建议提前操作。DBA检查连接切换情况，是否都已切换至通过Nginx代理连接。将新从库连接串重命名为旧从库连接串，避免从库业务需重新配置。将Nginx中连接串配置为旧主库连接串，重启Nginx。业务修改连接串至新主库，DBA检查连接情况。登录旧主库检查，业务是否仍有连接。
2024-09-01 10:50:43
3189
1
原创 MySQL 导出导入的101个坑
最近接到一个业务自行运维的MySQL库迁移至标准化环境的需求，库不大，迁移方式也很简单，由开发用myqldump导出数据、DBA导入，但迁移过程坎坷十足，记录一下遇到的各项报错及后续迁移注意事项。
2024-06-02 12:16:58
3288
1
原创 MySQL从库1236报错Client requested master to start replication from position ＞ file size
主库断电后主从同步断了？
2024-04-30 18:18:16
4446
1
原创 my2sql —— go语言版binlog解析及闪回工具
之前学习过python语言版binlog解析及闪回工具最近听同事介绍有了新的go语言版的my2sql。优点是不需要安装一大堆依赖包，直接可以安装使用，并且解析更高效，试用一下。
2024-03-20 17:32:09
4213
1
原创 Linux中的各类时间 与 find命令的常用参数
之前研究wal日志清理的副产物，wal日志名被修改后文件的哪个时间会变？应该如何删除？由此整理一下Linux中atime、mtime、ctime的区别，以及find的常见用法。
2024-02-22 17:28:46
4011
1
原创 延迟恢复了？ pg重启后pg_stat_replication中的延迟信息会如何变化？
之前重启数据库时遇到一个问题，本来主从间有超过2小时的延迟，重启db后监控突然提示延迟为0，告警恢复。一段时间后，监控又显示延迟逐渐增加，直至逐渐回到2小时。这是为什么？
2024-02-14 22:01:42
2833
1
转载 MySQL 轻量级Online DDL工具 —— gh-ost
一、gh-ost 介绍gh-ost是 GitHub 发布的一款用于 MySQL 的无触发器在线模式迁移解决方案。它是可测试的，并提供暂停，动态控制/重新配置，审计和许多操作特权。它在整个迁移过程中，对主服务器产生的工作量很少，与已迁移表上的现有工作分离。此外，它还提供了许多可操作的特权，使其更安全、可信赖且易于使用。gh-ost操作方式与现有的在线模式更改工具类似：它们以与原始表相似的方式创建幽灵表，将数据从原始表缓慢且增量地复制到幽灵表，同时应用正在进行的更改（INSERT，DELETE，UP..
2024-02-14 21:35:54
4726
1
转载 PG fast模式停库 在归档过慢及有发送延迟 会被阻塞
尝试停库时遇到的两个现象：当archiver process仍有.ready文件待处理时，执行fast模式执行stop时，必须等其处理完当walsender进程仍有wal日志未发送至从库时，必须等其发送完
2024-02-12 21:30:12
2179
原创 postgresql 手动清理wal日志的101个坑
新年的第一天，总结下去年遇到的关于WAL日志清理的101个坑，以及如何相对安全地进行清理。前面是关于WAL日志堆积的原因分析，清理相关可以直接看第三部分。
2024-02-10 23:12:42
6941
5
原创 从 “template1“ is being accessed 报错，看PG数据库的创建过程
报错原因、解决方法、以及PG数据库的创建过程到底会干些什么？
2023-12-13 18:01:29
3958
2
原创 会长期锁表吗？PostgreSQL add column default 在各版本的优化
pg如何处理新增列的默认值，与Oracle有何区别
2023-12-01 19:42:20
3829
1
原创 会长期锁表吗？Oracle add column default 在各版本的优化
Oracle add column default 在各版本的优化
2023-11-29 14:55:43
5457
1
原创 PostgreSQL日志中的SQL记录时机 —— log_statement 和 log_min_duration_statement
log_statement 和 log_min_duration_statement 的作用及注意事项、源码学习
2023-11-28 21:05:11
6566
1
原创 PostgreSQL create or replace view和重建视图 有什么区别？
遇到开发提了个问题，create or replace view和重建视图（drop+create）有什么区别，查询资料整理了一下。replace后不影响权限和依赖于该视图的对象。来看看replace操作到底在干些啥 ˇˍˇ。
2023-11-22 19:51:54
4052
原创 pgbackrest归档目录满，清理后写入仍报错，分析及处理
pgbackrest配置的归档目录/backup被写满，清理后归档仍报错 No space left on device
2023-10-17 15:26:17
2806
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人