- 博客(72)
- 收藏
- 关注
RSS订阅原创 【监控】prometheus *-exporter 服务注册至 consul 脚本用以自动发现实例
prometheus *-exporter 服务注册至 consul 自动发现脚本。
2024-10-25 17:16:16
148
原创 【MySQL】go-sniffer SQL 网络抓取工具
捕获mysql,redis,http,mongodb等协议，抓包截取项目中的数据库请求并解析成相应的语句，如修改mysql协议会解析为sql语句，即可调试。不要代码，直接嗅探项目中的数据请求。有时候你想获取一些时间段的 SQL，但是是又不想开审计或其他原因，可以使用 go-sniffer 工具，从 tcp 数据包中解析 SQL。
2024-10-12 12:15:27
467
原创 【pgsql】pgpool-4.5.3 读写分离极简配置实现
本文档仅演示只使用pgpool做读写分离的场景，尽可能以最小的配置运行读写分离，并验证是否生效。pgpool 4.0 以下版本默认运行在 root用户中，以上版本默认运行在 postgres 用户。这里是用 postgres 运行 pgpool 服务。
2024-09-05 10:23:10
1205
原创 【TiDB原理与实战详解】5、BR 物理备份恢复与Binlog 数据同步～学不会? 不存在的！
一般场景下（备份恢复的表少于 1000 张），BR 在运行期间的 CPU 消耗不会超过 200%，内存消耗不会超过 4 GB。但在备份和恢复大量数据表时，BR 的内存消耗可能会上升到 4 GB 以上。在一次备份或恢复中，各个 TiKV 节点都会有一个对应的备份路径，TiKV 备份时产生的备份文件将会保存在该路径下，恢复时也会从该路径读取相应的备份文件。参数，调整后需要先进行全备在进行增备，因为在你修改参数之前tikv可能已经GC过了，这会清理掉之前的数据版本信息，导致备份失败。先指定全量备份路径进行恢复。
2024-08-30 12:08:10
1242
原创 【TiDB原理与实战详解】4、DM 迁移和TiCDC数据同步～学不会? 不存在的！
DM全称TiDB Data Migration , 支持兼容mysql协议的数据库（MySQL、MariaDB、Aurora MySQL），将数据（异步）迁移到TiDB中。支持全量和增量数据传输。可以过滤数据，可以将分库分表的数据合并迁移到TiDB中。TiCDC是一个通过拉取TiKV日志实现的TiDB增量同步工具，具有还原数据到与上游任意 TSO 一致状态的能力，同时提供开放数据协议，支持其他系统订阅数据变更。TiCDC 运行时是无状态的，借助 PD 内部的 etcd 实现高可用。
2024-08-30 12:03:31
1297
原创 【TiDB原理与实战详解】3、 集群升级和逻辑备份恢复～学不会? 不存在的！
*注意：**备份所在目录和kv(存储节点)不能在同一磁盘上，否则无法通过检查。升级分为停机升级和不停机升级，但是不停机升级也会重启一些组件。(如/tmp/test目录有相同名字的内容将会被覆盖)导出指定 SQL 选择出来的记录，例如，导出。即可导出 CSV 文件），还可以使用。假如导出数据的格式是 CSV（使用。查看当前已发布版本。1、配置文件配置参数。2、配置文件配置方法。
2024-08-30 11:58:29
553
原创 【TiDB原理与实战详解】2、部署与节点的扩/缩容～学不会? 不存在的！
是 TiUP 提供的使用 Golang 编写的集群管理组件，通过 TiUP cluster 组件就可以进行日常的运维工作，包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群，以及管理 TiDB 集群参数。目前 TiUP 可以支持部署 TiDB、TiFlash、TiDB Binlog、TiCDC，以及监控系统。本文将介绍不同集群拓扑的具体部署步骤。节点扩容应避开业务繁忙时间段，防止意外事件的发生。是 TiDB 4.0 版本引入的集群运维工具，注：单机测试调整ssh连接数限制。
2024-08-30 11:53:25
352
原创 【TiDB原理与实战详解】1、原理与基础优化～学不会? 不存在的！
TiDB 是一款开源的分布式关系型数据库，具有水平扩展、高可用性和强一致性等特点，特别适用于需要高并发、低延迟和高可用性的大规模数据处理场景。TiDB 的架构设计灵感来自 Google 的 Spanner 和 F1，并且与 MySQL 兼容。以下是对 TiDB 集群原理的详细介绍。
2024-08-30 11:49:11
943
原创 【Redis】哨兵(Sentinel)原理与实战全解～炒鸡简单啊
Redis 的哨兵模式（Sentinel）是用于实现 Redis 高可用性的一种机制。它通过监控主节点和从节点，自动进行主节点故障切换，确保 Redis 集群在主节点出现故障时仍然能够继续提供服务。
2024-08-30 11:17:53
1869
原创 【一文搞懂PGSQL】7. PostgreSQL + repmgr + witness 高可用架构
repmgr是一套开源的PostgreSQL集群管理工具，具有非常轻量级的使用特性。
2024-08-30 11:01:44
666
原创 【一文搞懂PGSQL】6. PostgreSQL + pgpool-II 实现读写分离
支持 连接池、准备切换、负载均衡、读写分离支持原始模式，复制模式，主备模式，并行模式多种模式写性能不好，不支持部分查询pgpool-II单点只能绑定在主库。配置文件简介。
2024-08-30 10:17:28
467
原创 【一文搞懂PGSQL】5. 流复制
流复制架构 类主从流复制+PGPool-ll读写分离架构流复制+repmgr高可用架构greenplum 高可用分布式读写。
2024-08-30 10:14:36
403
原创 【一文搞懂PGSQL】3.进程和关键文件介绍
PGDATAlog运行日志（pg10之前为PGDATA/log 运行日志（pg10之前为PGDATAlog运行日志（pg10之前为PGDATA/pg_wal 重做日志（pg10之前为$PGDATA/pg_xlog）PGDATA/pg_xact 事务提交日志（pg10之前为$PGDATA/pg_clog）服务器日志，可以在启动的时候指定，比如pg_ctl start -l ./alert.log。
2024-08-29 09:34:53
1256
原创 【一文搞懂PGSQL】2.基础管理
此配置是按照从上到下的顺序读取的，应用顺序也是从上到下，当匹配到对应规则将不往下读取，注意编辑顺序！！！# TYPE DATABASE USER ADDRESS METHOD 可设置/reject/md5/trust# 配置自己对应的user/host# 允许具有复制权限的用户从本地主机进行复制连接EOF# 放开所有地址# 重启服务生效# 不重启重载配置文件。
2024-08-28 18:41:30
839
原创 【一文搞懂PGSQL】1.简述和安装
PostgreSQL,简称PG或PGSQL。C和C++开发。开源的关系型数据库。中文社区: www.postgres.cn。
2024-08-28 18:36:41
330
原创 一文吃透企业级elk技术栈：elk 各组件调试
任何的调试都需要先明白逻辑，知道程序的调用的先后顺序。我这里是 filebaet --> kafka --> logstash --> es --> kibana 数据推送。
2024-08-27 21:44:11
303
原创 【MySQL核心】误删除表？帮你时间倒流！！！
开发同事在操作测试库的时候，误删除了一张业务表，她问我能不能帮她找回来，我说滚！！！经不住她的软磨硬泡，我还是软了下来。
2024-08-15 16:56:20
458
1
原创 人工智能时代：程序员如何保持核心竞争力
人工智能的快速发展确实对程序员的工作方式带来了深刻的影响，但这并不意味着程序员的核心竞争力会被削弱。相反，通过专注领域深耕、广泛学习、发展软技能，程序员可以在 AI 时代保持并提升自身的核心竞争力。未来的职业成功，将依赖于如何将 AI 技术与个人的技能和知识相结合，创造出更多的价值和创新。
2024-08-15 08:00:00
471
原创 【MySQL】手把手教你MySQL各版本忘记密码如何处理
如果是普通用户忘记密码可以用 root@locallhos 管理员用户登陆 MySQL 修改密码。如果是管理员用户忘记密码，则需要跳过授权表重启 MySQL 来修改密码。跳过网络和授权表启动MySQL。删除或注释掉跳过授权表启动。修改密码为你想要的密码。修改root密码为空。
2024-08-14 17:30:45
246
原创 【MySQL】mysql异常宕机无法启动处理过程
* oom异常关闭导致 MySQL5.7 启动失败。同事导入数据时异常关闭，应该是数据量太大导致mysql崩溃，尝试重启失败了提示如下
2024-08-14 16:54:20
649
原创 【MySQL核心】MySQL无法启动？批量恢复MySQL 物理文件-拯救即将跑路的你
本文章主要讲解 MySQL 异常宕机等意外情况下导致 ibd 文件损坏，配置mysql强制恢复（） 1-6 级仍然无法启动的情况。下面是恢复整个实例的所有流程和思路。这里恢复的实例是 mysql5.6 的整个流程，5.7和 5.6 类似，8.0 可以直接用ibd2sql进行坏表的恢复。再次提醒：建议 MySQL 开启定时全备、开启row格式binlog、创建从库等冗余操作，防止重要数据丢失！！！操作前请行备份！！！操作前请确认磁盘空间！！！
2024-08-12 16:52:09
1687
1
原创 【MySQL核心】MySQL 数据恢复-ibd2sql
ibd2sql 是一个将 MySQL ibd 文件解析成 SQL 语句的工具，它可以解析出建表语句和 SQL 语句，并且支持 MySQL8.* 和 MySQL5.* 版本。可以解析损坏的 ibd 文件来获取可用的信息，这对于数据表损坏的场景非常友好。接下来一起了解下他的神奇功能。项目地址：https://github.com/ddcw/ibd2sql注意： 执行操作前先请备份数据，注意磁盘空间大小。
2024-08-12 16:48:15
971
原创 【MySQL 核心】MySQL数据恢复-dbsake
dbsake 是一个古老的数据库管理工具，集成了 MySQL 多种使用场景的工具，你可以用它提取解析 MySQL 的 frm 文件来获取建表语句或视图，可以检查 MySQL 配置信息用来升级 MySQL、自动部署沙盒实例、编解码 MySQL 文件名、查看 ibdata文件中缓存的内容。这些都是老版本 MySQL 不支持的一些功能，现在基本都已经兼容了，我们今天主要使用的是他解析 frm 文件的功能。项目地址：https://github.com/abg/dbsake。
2024-08-12 16:44:40
325
原创 【内网穿透】frp简单几步实现任意地点访问内网机器 p2p 文件传输太爽了！！！
以下提供了 linux 和 windows 机器上的配置方式。并且提供了基于 nginx 代理来处理一些无法登录机器或不想登录机器的访问问题。官网提供了很多类型连接，其实都是 TCP 的，不管你搞什么直接选 TCP 就完事了。它可以满足绝大多数场景。在家访问公司任意电脑或服务器在公司访问家里的任意电脑或服务器在家或在公司访问内网的任意网站在任意地点访问内网的任意网盘常见限制：公司内网没有公网 IP管理权限家庭网络没有公网 IP家庭网络 IP 会变呀。
2024-07-23 18:17:37
1662
原创 【MySQL】手把手教你MySQL数据同步
用于在两个MySQL实例间同步数据，基于mysqldump和mysql进行数据同步。可选择全量、单库、单表、多表、指定文件同步表的多种同步方式，常见使用场景如：生产库同步数据至测试库、表在线备份、搭建主从等场景。并且可以通过调整mysqldump的备份参数，实现其他种类的同步。也可以将mysqldump替换成mydumper多线程工具，加速数据同步。项目地址：https://gitee.com/hh688/data_sync。
2024-07-23 09:36:47
1844
3
原创 【MySQL】根据binlog日志获取回滚sql的一个开发思路
不同客户端之间会交替追加在 binlog 中，需要通过 👆的 binlog 匹配流程来控制匹配。行，需要再次寻找 thread_id 相同的行，匹配到后执行上一个流程。在 binlog 中的线程 ID 记录为 thread_id。一个线程执行多个 sql 回滚到同一个文件可能带来的问题。对应 binlog 日志中的 thread_id=指定 mysql 客户端 开始时间和结束时间。打开 mysql 客户端 开始时间。关闭 mysql 客户端 结束时间。先匹配 thread_id 相同的。
2024-07-19 16:12:43
705
原创 【MySQL】两个脚本自动化搞定 MySQL 备份恢复--XtraBackup
此项目基于两个脚本实现，脚本基于 XtraBackup 实现了 MySQL 的自动化备份，可选择全备和增备。脚本实现了基于脚本的自动化恢复，并能够通过微信和企业微信对执行的状态进行通知。## 备份脚本：MySQL 自动备份脚本基于 XtraBackup 实现了 MySQL 的自动化备份，可根据自身需求选择本地、远程、增备、全备的多种方式相结合的备份方式，并通过 pv 工具实现远程传输的流量控制。基于企业微信机器人实现了备份信息的通知。脚本实现了基于。
2024-05-23 15:44:37
744
原创 【MySQL】两个脚本搞定MySQL安装和主从的环境搭建
关于 mysql 的安装和主从的搭建，在开发和运维过程中经常遇到，可以用两个脚本快速搭建 mysql 主从。推荐使用 脚本 1 和脚本 2项目地址： https://gitee.com/hh688/mysql_install_script新装 MySQL 或初始化新实例。使用第一个脚本安装完 MySQL 后，可以使用此脚本搭建主从复制，可以基于 gtid 或 postion 两种方式搭建，数据导入比 mysqldump 更快。
2024-05-11 11:15:42
1083
1
原创 【MySQL】Orchestrator最简单的 mysql 高可用方案最细细细细～
orchestrator 是基于 MySQL 主从的开源的 MySQL 高可用方案，可以管理上千个 MySQL 集群。实现 MySQL 高可用的同时，可配置实现自身的高可用。项目地址: https://github.com/openark/orchestrator。
2024-04-16 14:00:00
2488
1
原创 【MySQL】 mysql 日常工单处理脚本 解放你的双手！！！
在工作中经常帮助开发的小伙伴执行些 sql，手动执行效率低不直观，还要单独备份等等，极为麻烦，怎么办？用它！解放时间多摸鱼！！！我的摸鱼小帮手。
2024-04-16 11:16:12
455
原创 【玩转PGSQL】基础管理&防火墙及用户权限管理-知否知否
基于 CentOS7 的 postgresql 专栏之基础管理&防火墙及用户权限管理，以运维开发的角度解读 PG
2024-04-15 11:39:01
983
原创 【Linux】通过 PID 获取服务信息 带你玩转 linux
新接手一台服务器，如何快速获取服务信息？接下来带你通过 PID 简单获取命令行参数、环境变量、打开的文件、内存映射、进程状态等等。
2024-04-09 11:49:09
2558
原创 【Linux逻辑卷全解】带你玩转linux LVM 逻辑卷
磁盘一经分区之后，再想改变磁盘中这个分区的大小就很难了。假如当这个磁盘的空间不够用了，是没有办法扩大这个分区的。所以使用逻辑卷。注意：xfs 格式的文件系统删除逻辑卷会导致系统崩溃！！！添加两块新硬盘设备 在虚拟机中添加两块新硬盘设备的目的，是为了更好地演示LVM理念中用户无需关心底层物理硬盘设备的特性。
2024-04-07 18:11:32
2550
原创 【redis数据同步】redis-shake数据同步全量+增量
redis-shake是基于redis-port基础上进行改进的一款产品。它支持解析、恢复、备份、同步四个功能。以下主要介绍同步sync。redis-shake 的基本原理就是模拟一个从节点加入源redis集群，首先进行全量拉取并回放，然后进行增量的拉取(通过psync命令)。如果目标库的数据逐出策略(maxmemory-policy)配置为noeviction以外的值，可能导致目标库的数据与源库不一致。关于数据逐出策略详情，请参见Redis数据逐出策略介绍。
2024-04-07 17:35:50
2093
nfs41cllent failed to loodNo Network Adap普通电脑安装 esxi 6.5 网卡报错
2024-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人