- 博客(57)
- 收藏
- 关注
RSS订阅原创 【数据库】MySQL基于MyCAT分库分表
MyCAT是一款基于MySQL协议的开源分布式数据库中间件，主要用于数据库层的负载均衡与分库分表。其核心价值在于对应用层完全透明，通过SQL解析、分片路由、结果聚合等能力，解决单库数据量过大导致的性能瓶颈问题。MyCAT采用分层架构设计，包括接入层、核心层和数据节点层，支持逻辑库/表与物理库/表的解耦，提供多种分片规则和全局序列生成器，确保分布式环境下的数据一致性和高可用性。虽然MyCAT已停止更新，但在存量场景中仍广泛应用。实验环境通常包含MyCAT服务节点和多个MySQL物理节点，通过配置文件实现数据分
2025-12-27 13:58:43
676
原创 【数据库】MySQL逻辑备份恢复 MyDumper & MyLoader
MyDumper和MyLoader是一套高性能MySQL逻辑备份与恢复工具集，采用多线程并行处理，备份/恢复速度远超传统mysqldump。MyDumper通过主线程获取全局读锁后创建子线程建立一致性快照，并行导出表结构和数据；MyLoader则并行恢复数据并支持延迟创建索引优化性能。该工具支持事务一致性、文件压缩、正则筛选等特性，兼容MySQL、MariaDB等数据库，适合需要快速逻辑备份恢复的场景。相比官方工具，它提供了更好的性能但缺乏官方支持，对非事务表的一致性保障有限。
2025-11-21 14:34:11
720
原创 【数据库】MySQL InnoDB Cluster 高可用架构部署（MGR 3节点）
InnoDB Cluster是MySQL官方的高可用方案，基于Group Replication实现，包含三个核心组件：MySQL Server节点（数据同步）、MySQL Shell（集群管理工具）和MySQL Router（请求路由）。本实践采用3节点架构（1主2从），支持自动故障转移与强一致性。所有节点运行MySQL 8.0.43，配置统一但需调整server-id和通信地址。关键配置包括GTID同步、组复制插件加载及单主模式设定，确保高可用性和透明扩展能力。架构通过PAXOS协议保障数据一致
2025-10-14 18:16:40
990
原创 【数据库】MySQL 高可用架构与数据可靠性方案概览
本文对比分析了6种MySQL高可用架构方案。传统方案MMM和MHA采用单主模式，MMM基于VIP漂移实现故障转移但已过时，MHA通过主从切换保证高可用但存在数据不一致风险。新兴方案中，MGR作为MySQL官方插件，基于Raft协议实现强一致性；MySQL Cluster采用NDB引擎支持多主写入。第三方方案Galera Cluster和PXC基于Galera协议实现多主同步复制，保证数据强一致性。每种方案在一致性、可用性、扩展性和运维复杂度上各有优劣，需根据业务需求选择。
2025-09-02 12:09:39
922
原创 【数据库】Oracle学习笔记整理之六：ORACLE体系结构 - 重做日志文件与归档日志文件（Redo Log Files & Archive Logs）
Oracle数据库通过重做日志文件（Redo Log Files）和归档日志文件（Archive Logs）确保数据安全与可靠性。重做日志实时记录所有数据变更，保障事务持久性和崩溃恢复，采用循环写入机制，至少需2组日志文件。归档日志在ARCHIVELOG模式下生成，是重做日志的历史副本，支持时间点恢复和联机备份，由ARCn进程自动创建。两者共同构成数据库恢复体系，重做日志用于实例恢复，归档日志扩展恢复能力，是高可用方案的基础。生产环境推荐启用归档模式以实现全面数据保护。
2025-08-20 18:44:58
2378
原创 【数据库】Oracle学习笔记整理之五：ORACLE体系结构 - 参数文件与控制文件（Parameter Files & Control Files）
格式：分为两种类型SPFILE（服务器参数文件）：二进制格式，不可直接编辑（可 strings 查看）；PFILE（文本初始化文件）：纯文本格式，可通过文本编辑器修改。默认目录：Unix/Linux系统中默认路径为；常见名称（如）、spfile.ora（默认名称）；（如格式：二进制文件，不可通过文本编辑器直接修改；默认目录：路径由参数文件的参数指定（如常见名称：通常命名为（按副本序号区分）。
2025-08-16 12:52:19
1050
原创 【测试工具】JMeter基本使用及MySQL数据库压力测试
本文介绍了使用JMeter进行MySQL数据库压力测试的基本流程。首先概述了JMeter作为开源性能测试工具的特点，包括支持多种协议、动态静态资源测试、多线程并发等功能。接着详细讲解了JMeter的下载安装步骤，重点说明需要配置Java环境和MySQL驱动。然后通过图文展示了测试计划的配置过程，包括添加JDBC连接配置、设置线程组参数、创建JDBC请求等关键步骤。最后强调了实际压测应使用命令行模式而非GUI界面，并给出了执行命令示例。文章为读者提供了从环境搭建到实际测试的完整指导，帮助用户快速上手JMete
2025-08-15 14:53:08
1503
原创 【数据库】Oracle学习笔记整理之四：ORACLE体系结构 - 数据文件（Data Files）
Oracle数据文件概述 数据文件(.dbf)是Oracle数据库的核心物理存储单元，包含用户数据、元数据等二进制信息。它通过多层映射与逻辑结构关联：数据库→表空间→段→区间→数据块。数据块作为最小I/O单元，内部包含块头、表目录、行目录和数据区等结构。 数据文件支持固定大小或自动扩展配置，删除操作后空间可重用但需手动收缩释放。文件状态包括联机/脱机，并可设为只读模式。Oracle提供OMF自动管理文件命名和路径，同时支持Bigfile表空间（单个超大文件）和传统Smallfile表空间（多文件管理）。不同
2025-08-14 11:32:00
842
原创 【数据库】Oracle学习笔记整理之三：ORACLE体系结构 - 进程
用户进程：客户端发起请求的“入口”，负责与用户交互，不直接操作数据库资源。数据库进程：Oracle核心工作进程，包括处理用户请求的服务器进程和维护系统运行的后台进程。守护/应用程序进程：支撑高可用、集群扩展的辅助进程，如网络监听、集群管理进程等。核心价值：通过进程隔离与协作，既保证用户请求的高效处理（服务器进程），又实现系统级的自动化维护（后台进程），同时支持集群、容灾等扩展场景（守护进程），构建“响应快、高可靠、可扩展”的数据库架构。
2025-08-12 11:05:45
828
原创 【数据库】Oracle学习笔记整理之二：ORACLE体系结构 - 内存（SGA、PGA）
系统全局区（SGA）是Oracle实例启动时分配的共享内存区域，贯穿实例整个生命周期（启动时分配，关闭时释放），用于存储数据库运行的关键信息（如数据块、SQL执行计划、重做日志条目等）。共享性：所有会话（服务器进程）共享SGA中的数据，避免重复存储，是高并发场景的基础。动态调整：支持通过参数动态调整大小（部分组件需重启生效），灵活适配负载变化。可监控性：通过Oracle内置视图（如V$SGAV$SGASTAT）实时监控使用状态，便于问题排查。SGA核心控制参数》：SGA的最大上限（静态参数，需重启生效）
2025-08-08 16:20:54
1201
原创 【数据库】Oracle学习笔记整理之一：ORACLE体系结构 - 核心组成部分概述
Oracle数据库采用客户端/服务器架构，由三大核心组件构成：1）实例（Instance）包含内存结构（SGA共享全局区和PGA程序全局区）和后台进程（如PMON、SMON等），负责数据库运行管理；2）数据库（Database）是物理文件集合，包括数据文件、控制文件和重做日志等，用于持久化存储；3）客户端通过Oracle Net连接数据库发起请求。实例负责处理操作，数据库存储数据，客户端发起业务请求，三者协同工作实现高效数据管理。
2025-08-06 12:15:51
1405
原创 【大数据】open_metadata 开源元数据管理平台建设与数据血缘实践
随着业务数据持续涌入大数据平台，数据上下游依赖关系日益复杂，业务对报表数据溯源困难，传统的管理方式已难以满足追溯与治理需求。需要引入元数据血缘，实现对数据从源头到消费端的全链路追踪，精准刻画数据的生成、加工与流转过程。个人对数据血缘、数据治理等概念了解比较浅薄，如有错漏欢迎大佬指正。24年末，本着开箱即用的目标，开始调研相关元数据管理平台。先说结论，我们最后选用了 open_Metadata，整体数据架构如下图所示。
2025-07-31 15:41:15
4466
2
原创 平价“洋垃圾”X99与PVE家用服务器
用廉价“洋垃圾”搭建家用服务器，在硬件层面，虽有稳定性风险，但低成本能凑出多核、大内存配置，满足基础实验需求，似乎仅此一家？PVE 在家用实验场景价值大，开源免费、灵活折腾的特点，完美适配个人探索虚拟化、服务部署的需求，实现了低成本折腾的目标，花小钱办大事。
2025-07-23 09:27:45
2740
2
原创 【数据库】SQL执行计划 - MYSQL
数据库故障主要源于应用程序SQL问题，表现为慢查询。常见成因包括索引缺失、查询写法缺陷、数据量过大及执行计划异常。通过电商场景示例展示了用户、商品和订单表的创建与数据生成方法，为后续SQL优化分析提供实验环境。执行计划分析是优化慢SQL的关键工具，需要结合具体场景评估索引、查询和数据结构的合理性。
2025-07-14 18:09:47
1071
原创 【数据库】《DBA实战手记》- 读书笔记
概念描述数据库是一种用于存储、管理和检索数据的系统。它允许多用户方便地组织、插入、更新、删除和查询数据。
2025-06-04 00:01:24
1295
原创 【数据仓库】StarRocks 高可用docker部署
其余配置参考：https://docs.starrocks.io/zh/docs/2.5/administration/Configuration/#%E9%85%8D%E7%BD%AE-fe-%E9%9D%99%E6%80%81%E5%8F%82%E6%95%B0。向集群中添加新的 Follower FE 节点时，您必须在首次启动新 FE 节点时为其分配一个 helper 节点（本质上是一个现有的 Follower FE 节点）以同步所有 FE 元数据信息。禁用 SELinux。将BE节点添加至集群。
2025-02-18 00:28:11
2025
原创 【数据库】docker搭建mysql8一主两从节点，配置proxysql读写分离
重启I/O线程之后，从库会重新连接到主库，并注册为半同步的从库（如果是全新搭建的复制拓扑，可以忽略该步骤。当设置完用户名和密码后，ProxySQL将使用这些凭据建立与MySQL服务器的监控连接，并定期获取性能指标、查询统计和连接状态等信息。请注意，规则的顺序很重要，ProxySQL将按照规则列表的顺序逐条匹配，并在找到匹配项后停止匹配。表中配置用户信息，ProxySQL可以根据客户端的连接请求进行身份验证，并根据定义的权限规则控制对MySQL服务器的访问。master_host ：Master的地址。
2024-05-06 20:53:54
1691
2
转载 【Golang】分布式 raft 共识算法 go 实现
本篇文章为 Raft 系列文章中的第一篇，Raft 的介绍。整个系列文章描述了 Raft 分布式共识算法及其在 Go 中的完整实现。Raft 是一种相对较新的算法（2014），但是它在业界已经被大量使用。最为大家所熟知的当属 K8s，它依赖于 Raft 通过 etcd 分布式键值存储。本系列文章的目的是描述 Raft 的功能齐全且经过严格测试的实现，并捎带介绍 Raft 的工作方式。我们假设读者至少了解过 Raft 相关文章。不要指望在一天内完全掌握 Raft。
2024-04-07 09:33:20
1465
原创 【数据库】PostgreSQL源码编译安装方式与简单配置（v16.2）
Windows环境下的安装是比较简单的，只需要运行图形界面，在安装的过程中基本上只需要点选“Next”项就可以完成安装。Linux环境下PostgreSQL的安装方式则是使用相应发行版本的包管理器来进行。从发行版本安装的PostgreSQL一般不是最新版本，如果想安装最新版本的PostgreSQL，需要使用下面介绍的源码安装方法。从源码安装的编译安装过程如下。第一步，下载源代码。第二步，编译安装，过程与Linux下其他软件的编译安装过程相同，都是“三板斧”：make。
2024-04-05 20:49:27
5219
原创 【数据库】MySQL InnoDB存储引擎详解 - 读书笔记
特性支持B-tree 索引是备份/点恢复（在服务器中实现，而不是在存储引擎中）是集群数据库支持否聚集索引是压缩数据是数据缓存是加密数据是（在服务器中通过加密函数实现；在 MySQL 5.7 及更高版本中，支持数据静止加密。外键支持是全文搜索索引是（从 MySQL 5.6 开始支持全文索引。地理空间数据类型支持是地理空间索引支持是（从 MySQL 5.7 开始支持地理空间索引。哈希索引否（InnoDB 内部使用哈希索引来实现其自适应哈希索引功能。索引缓存是。
2024-04-04 12:55:28
2359
原创 【数据库】主流数据库及其常用工具简单科普
最近面试发现自己水平还是不足，对除mysql和oracle以外的数据库并不怎么了解，在此借助通义千文先给自己简单科普一下。
2024-04-04 12:07:09
4856
原创 【数据库】Oracle内存结构与参数调优
在操作系统层面，默认情况下内存页大小通常为4KB。大页是一种内存管理机制，将标准内存页尺寸增大，例如从4KB改为2MB。使用大页可以减少TLB（Translation Lookaside Buffer）未命中的情况，从而降低页交换频率和I/O开销，提高系统的性能，特别是在大规模内存管理和Oracle数据库等场景下。
2024-03-12 19:30:34
4753
1
原创 【数据库】MySQL8中的新增特性有哪些？
1. 账户与安全 (1) 用户创建和授权 (2) 认证插件更新 (3) 密码管理2. 索引增强 (1) 隐藏索引（隐式索引）(2) 降序索引 (3) 函数索引3. 通用表表达式（CTE）4. 窗口函数 5. 原子DDL操作 6. JSON 增强 7. InnoDB其他改进功能 (1) 自增列持久化 (2) 死锁检查控制 (3) 锁定语句选项 (4) InnoDB 其他改进功能
2024-02-23 13:48:23
1206
原创 【数据库】MySQL有几种存储引擎（表类型）？各自有什么区别？
MySQL官方有多种存储引擎：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE。MyISAM是MySQL关系型数据库管理系统的默认存储引擎（MySQL 5.5 以前）。这种MySQL表存储结构从旧ISAM代码扩展出许多有用的功能。从MySQL 5.5 开始，InnoDB引擎由于其对事务产找完整性，以及更高的并发性等优点开始逐步地取代MyISAM，作为MySQL数据库的默认存储引擎
2024-02-22 18:02:47
2201
原创 【数据库】Oracle常用命令，DBA日常巡检维护SQL脚本
Oracle常用命令，DBA日常巡检维护及SQL脚本。查看表占用存储及表行数，查看索引占用存储,查询表空间使用情况，高水位，清水位，获取未压缩表及其大小，压缩表操作，查询锁表及解锁语句，删表回退，闪回，数据库作业调度，存储过程，DBLINK，序列，总IOps和IO吞吐量，磁盘，创建用户
2024-01-22 21:20:25
1783
1
原创 【大数据】Pig执行报错Can‘t find method newStub in org.apache.phoenix.coprocessor.generated.MetaDataProtos$Met
今天用cdh 6.3.2 安装时附带的pig导出数据，先后出现了两个小问题，在此记录一下解决方法。一、Could not resolve org.apache.phoenix.pig.PhoenixHBaseLoader，缺少phoenix-*-client.jar这个jar包二、Can't find method newStub in org.apache.phoenix.coprocessor.generated.MetaDataProtos$MetaDataService!，执行 pig 命令
2023-11-24 22:05:58
367
原创 【Linux】nfs挂载失败 mount: wrong fs type, bad option, bad superblock on
mount: wrong fs type, bad option, bad superblock on 10.22.xxx.xx:/opt/test, missing codepage or helper program, or other error (for several filesystems (e.g. nfs, cifs) you might查看是否有相关的包（没有如下的包的话需要安装）mount挂载时出现如下信息，并且挂载失败。
2023-10-17 16:40:13
1424
原创 【Golang】读取yaml配置文件的批量替换文本小工具
传统应用迁移，需要大面积修改或替换配置文件中的字符串（ip地址，主机名啥的），手工一个个改不仅费时费力还难免出错，所以用go写了个小工具，打包成linux环境的可执行文件，用ansible分发执行即可。
2023-10-07 12:56:41
616
转载 【Docker】各类常见故障 问题原因及解决方式
以下是整理的docker容器类问题故障，分为9个类。一、启动类故障，二、权限问题报错，三、镜像和仓库问题报错，四、资源问题报错，五、版本不兼容报错，六、网络或端口问题报错，七、Docker安装报错，八、Docker删除报错，九、其他报错，Docker使用规范建议
2023-09-26 11:09:07
4488
原创 【Golang】交叉编译到不同平台windows、linux 时 set GOOS=windows 无效问题
go写小工具打包编译成linux或windows的exe可执行文件时不太顺利。如下所示， set GOOS=windows并没有设置成功。原因：当前是在windows的PowerShell中执行的，set命令并不起使用。解决：新建一个cmd终端窗囗（我的编辑器是goland）
2023-09-24 18:20:13
2940
2
原创 【软考-网规】备考知识点链接整理
一、非网络基础，二、计算机网络基础，三、企业内部网络规划，四、路由规划设计，五、传输层和应用层，六、网络管理，七、广域网和接入网，八、网络新技术，九、网络安全解决方案，十、服务器和网络存储技术，十一、网络规划和设计，十二、论文写作软考-网络规划设计师知识点比较散，个人备考做练习时查到顺便更新
2023-09-18 10:34:16
993
原创 【Js13kGames】基于JavaScript 创造仅有13kb大小的游戏世界
js13kgames是一项年度游戏开发比赛，要求参赛者在 30 天内，源代码在13KB 的限制内创建完整的HTML5游戏。这项极限挑战鼓励开发者精简代码和资源以满足比赛规则。
2023-09-15 12:59:04
16990
原创 【软考-网规】计算机网络基础
计算机网络是由通信介质将地理位置不同的且相互独立的计算机连接起来，实现数据通信与资源共享OSI的七层协议体系结构的概念清楚，理论也比较完整，但它既复杂又不实用，ISO制定的OSI参考模型的过于庞大、复杂招致了许多批评。由技术人员自己开发的TCP/IP协议栈获得了更为广泛的应用。TCP/IP体系结构则不同，它现在已经得到了非常广泛的应用，TCP/IP是一个四层的体系结构。
2023-08-21 16:03:18
1459
原创 【Linux】Cgroups资源限制
Cgroups是control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由google的工程师提出，后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段，可以说没有cgroups就没有LXC。blkio 这个子系统为块设备设定输入/输出限制，比如物理设备（磁盘，固态硬盘，USB 等等）。
2023-07-31 16:53:11
510
原创 【IT运维】go编写程序充当prometheus告警触发端和接收端
编写golang程序充当告警触发端，向alertmanager发送告警编写golang程序充当告警接收端，从alertmanager 接收webhook的告警信息
2023-07-08 14:16:40
671
原创 【Linux】FTP文件服务器
FTP (File transfer protocol) 是TCP/IP 协议组中的协议之一。他最主要的功能是在服务器与客户端之间进行文件的传输。FTP就是实现两台计算机之间的拷贝，从远程计算机拷贝文件至自己的计算机上，称之为“下载 （download）”文件。将文件从自己计算机中拷贝至远程计算机上，则称之为“上传（upload）”文件。这个古老的协议使用的是明码传输方式，且过去有相当多的安全危机历史。
2023-06-29 15:40:55
7066
原创 【云原生】Docker Swarm主机编排
Swarm 是 Docker 公司推出的用来管理 docker 集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm， 它是将一群 Docker 宿主机变成一个单一的虚拟主机，Swarm 使用标准的 Docker API 接口作为其前端的访问入口，换言之，各种形式的Docker Client (compose,docker-py等) 均可以直接与 Swarm 通信，甚至 Docker 本身都可以很容易的与 Swarm 集成.
2023-06-25 10:31:32
335
原创 【数据库】Oracle与MySQL语法差异一览表
变量的声明方式不同，变量的赋值方式不同，跳出（退出）语句不同，定义游标，定义数组，注释方式不同，自带日期时间函数格式不同，日期加减，字符串连接符不同，定义游标不同，事务回滚，GOTO语句，类别，数字函数，字符串函数，控制流函数，类型转换函数，日期函数，SQL函数，类别，IF语句使用不同，FOR语句不同，while语句不同，创建存储过程语句不同，创建函数语句不同，传入参数写法不同，包的声明方式，存储过程返回语句不一样，存储过程异常处理不一样，过程和函数的声明变量的位置不同，NO_DATA_FOUND异常处理，
2023-06-16 17:51:27
2902
1
原创 【IT运维】Rsync实现Linux双机热备
rsync是一款开源，快速，多功能的可实现增量的本地或远程的数据镜像同步备份的优秀工具。适用于多个平台。从软件名称可以看出来是远程同步的意思（remote sync）可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用。873C/S B/S。
2023-06-15 10:07:04
1326
原创 【Linux】mdadm创建一个软raid阵列
本文介绍了如何在Linux中使用mdadm工具创建软RAID阵列。主要内容包括：mdadm的核心功能（RAID管理、状态监控、故障处理等）、关键概念（RAID级别、md设备、热备盘等）以及常用命令（创建RAID、查看状态、维护操作）。通过具体步骤演示了创建RAID0和RAID1的过程，包括分区准备、阵列创建、状态查看、格式化挂载等操作。文章还提供了性能测试方法和注意事项，适合需要在无硬件RAID卡环境下实现存储冗余和性能提升的用户参考。
2023-06-08 11:29:55
3300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人