- 博客(908)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 工作笔记知识点总结
这就是为什么在旧版 MySQL 中，utf8mb4 的 VARCHAR(255) 无法直接建立索引（1022 > 767），必须改为 VARCHAR(191) ($191 \times 4 + 2 = 766 $ )。utf8 (mb3): 255×3 (数据)+2 (前缀)=767 字节255×3 (数据)+2 (前缀)=767 字节。utf8mb4: 255×4 (数据)+2 (前缀)=1022 字节255×4 (数据)+2 (前缀)=1022 字节。可以通过inode删除特殊字符文件。
2026-03-05 17:20:42
638
原创 数据库学习案例20240206-ORACLE NEW RAC agent and resource关系汇总。
2）gpnpd守护进程被启动，gpnpd开始读取本地节点的gpnp profile，之后和远程节点的gpnpd守护进程通信，以便获得集群中最新的gpnp profile信息。4）gipcd守护进程被启动，从gpnpd守护进程获得集群的私网信息，并和远程节点的gipcd守护进程通信，最后开始监控本地节点的私网。原因5：集群的私网网卡出现问题，这会导致gipcd无法和其他节点的gipcd进行通信或者集群没有可用的私网进行通信。
2024-02-06 16:52:05
1555
转载 mysql数据库部署-标准my.cnf配置
InnoDB缓存系统会把参数innodb_buffer_pool_size指定大小的缓存，平分为innodb_buffer_pool_instances个buffer_pool。# checksum函数的算法，默认为crc32。# 官方文档的建议设置是innodb_log_file_size = innodb_buffer_pool_size/innodb_log_files_in_group。默认值是8，断开连接时如果缓存中还有空间，客户端的线程将被放到缓存中，当线程重新被请求，将先从缓存中读取。
2022-09-15 10:38:44
2157
1
转载 Oracle性能优化-大页内存优化案例转载分享
这个映射表在Linux中每个进程都要持有一份，如果映射表太大，就会大大降低CPU的TLB命中率，主流的Linux操作系统，默认页的大小是4K，对于大内存来说，这会产生非常多的page table entries，上面已经提到，Linux下页表不是共享的，每个进程都有自己的页表，现在随便一个主机的内存都配置的是几十个G，几百个G，甚至上T，如果在上面跑Oracle不使用大页，基本上是找死，因为Oracle是多进程架构的，每一个连接都是一个独占的进程，大内存+多进程+不使用大页=灾难。所以一直没有找到原因。
2026-04-22 11:56:28
12
原创 Oracle RAC数据库管理-hugePages大页内存配置
摘要：Oracle RAC环境中配置HugePages是提升大型SGA性能的关键优化，需在所有节点执行相同配置。主要步骤包括：1)禁用透明大页(THP)；2)关闭自动内存管理(AMM)；3)计算并设置大页数量；4)配置memlock限制；5)调整内核参数。配置后需重启数据库并验证/proc/meminfo中的HugePages信息。特别注意RAC环境需确保各节点配置完全一致，且top显示内存翻倍属正常现象。建议重启前清空大页以避免分配问题。
2026-04-16 23:37:56
342
原创 My-Oracle数据库优化-with as 分析优化
维度原SQL（标量子查询）CTE改写后扫描次数每行1次1次（全表+聚合）df_task扫描次数每行1次1次（全表）扫描次数每行1次1次（全表）适用数据量< 1000行> 10000行可读性较低高（逻辑分层清晰）CTE通过空间换时间的方式，将多次重复的子查询扫描转化为单次物化+多次读取，适合子查询被频繁引用且结果集可复用的场景。
2026-04-02 18:37:42
386
原创 Mysql数据库优化-视图不展开优化
MySQL视图默认会被优化器合并到主查询中。如需强制视图作为独立结果集执行，可使用ALGORITHM=TEMPTABLE修改视图定义。方法：1)修改现有视图ALTER ALGORITHM=TEMPTABLE VIEW...；2)新建视图时指定。TEMPTABLE算法会先执行视图SQL并物化为临时表，但会导致性能下降（无法利用原表索引）且视图不可更新。适用场景：当复杂视图导致优化器生成错误执行计划时使用，需通过EXPLAIN评估性能影响。
2026-03-25 14:13:13
365
原创 Mysql数据库优化-pt-query-digest
是 DBA 和开发者的“听诊器”。看排名：找到最耗时的语句类别。看比例Lock_time占比高查锁，大查索引，多查内存配置。看指纹：确认真实的 SQL 模式。不要试图去读原始的 slow log 文件，那是大海捞针；用聚合分析才是正道。
2026-03-25 10:31:06
422
原创 主机操作系统管理-虚拟地址配置VIP
本文介绍了在不同操作系统中配置虚拟IP地址（VIP）的方法。Linux系统可通过ip或ifconfig命令临时配置，或通过NetworkScripts/Netplan永久配置；Windows系统可通过GUI或PowerShell添加。文章还说明了虚拟机网络模式和高可用集群的应用场景，并强调了IP冲突检测和防火墙配置的重要性。配置虚拟IP时需注意避免IP冲突，确保网络流量正常通过防火墙。针对不同应用场景，如Kubernetes或Oracle RAC，可能需要特定配置脚本。
2026-03-24 09:20:42
412
转载 Ollama下载安装+本地部署DeepSeek+UI可视化+搭建个人知识库——详解！（Windows版本）
本文详细介绍了在Windows系统上安装和使用Ollama平台部署DeepSeek AI大模型的完整流程。主要内容包括：1）下载Ollama安装包并自定义安装路径；2）配置环境变量及模型存储位置；3）从Ollama官网下载DeepSeek模型；4）使用CMD终端与模型交互；5）安装PageAssist插件实现可视化操作界面；6）通过CherryStudio搭建个人知识库，包括安装词嵌入模型和导入本地文档。文章还提供了常见问题的解决方案，如环境变量配置、远程访问设置等，为初学者提供了全面的本地AI部署指南。
2026-03-23 21:59:59
679
原创 oracle数据库优化-表碎片优化性能。
摘要：Oracle表碎片主要由频繁DELETE/UPDATE操作导致，表现为高水位线居高不下，影响查询性能。主要处理方法包括：1) SHRINK SPACE（在线操作，需启用行移动）；2) MOVE（离线重建表，需重建索引）；3) 在线重定义（零停机方案）；4) 导出导入（彻底重建）。推荐使用SHRINK SPACE CASCADE（适用于ASSM表空间），操作前需评估碎片程度。注意事项包括RowID变化、索引维护、日志压力等，分区表建议按分区处理。
2026-03-23 21:11:47
358
原创 PostgreSQL数据库管理-维护案例-杀会话
摘要：PostgreSQL数据库通过pg_terminate_backend和pg_cancel_backend函数实现会话终止功能，前者强制断开连接并回滚事务，后者仅取消当前查询。执行前需通过pg_stat_activity视图定位目标会话PID，重点关注active和idle in transaction状态。杀会话会立即释放锁但大事务回滚可能产生性能开销，建议优先尝试取消查询，避免业务高峰期操作，并设置自动化脚本清理异常会话。操作后需分析根因，解决长事务或连接泄露问题。该功能是解决锁等待的有效手段，但
2026-03-23 16:15:36
428
原创 Postgresql管理-杀会话还是取消会话？
PostgreSQL提供两种终止连接方式：pg_cancel_backend()仅取消当前查询但保持连接，适用于终止耗时SQL；pg_terminate_backend()会强制断开整个连接，适用于处理僵死会话。操作步骤：1）通过pg_stat_activity视图查询目标连接信息；2）根据需求选择合适函数执行终止。建议优先使用较温和的pg_cancel_backend，无效时再考虑强制终止。批量处理可通过组合查询实现，如终止指定数据库的空闲连接。
2026-03-23 11:47:15
436
原创 Postgresql管理-锁管理与分析
锁是一种轻量级的锁，主要用于读取操作。它允许高并发读取，并且在读取期间防止表结构被修改。通过这种锁机制，PostgreSQL能够在保证数据一致性的同时提供良好的并发性能。PostgreSQL中有多种锁模式，每种锁模式都有其特定的用途和兼容性规则。：可以有多个事务同时持有。：可以有多个事务同时持有。
2026-03-21 21:25:35
78
原创 PG/mysql/oracle--- 长事务对后续事务影响分析
摘要：本文分析了PG和MySQL中长事务导致的锁阻塞情况。在PG中，VACUUM FULL需要排它锁，会被长事务的共享锁阻塞，进而阻塞后续写操作；在MySQL中，FLUSH TABLES...WITH READLOCK会获取全局读锁，阻塞所有写操作和部分读操作，但已存在的读操作不受影响。两种情况下，系统性能都会因锁等待而下降，严重时可能导致系统崩溃。
2026-03-21 21:15:47
292
原创 Mysql数据库管理-MySQL数据库克隆备份与Binlog的PITR恢复方案
MySQL数据库克隆备份与PITR恢复方案：通过克隆插件实现数据备份（本地/远程），配合Binlog配置实现时间点恢复。包括备份执行命令、PITR恢复流程（基础数据恢复+Binlog重放）、自动化脚本示例及监控验证措施。关键点：确保Binlog启用、预留足够空间、选择低峰期操作。该方案提供完整的数据保护与精确恢复能力，适用于MySQL 8.0.17+环境。
2026-03-19 14:05:12
43
原创 主机管理---windows2012配置ftp服务器20240813
本文简要介绍了在Windows系统上配置FTP服务器的步骤：首先在控制面板中启用FTP功能；然后添加FTP站点，设置站点名称和物理路径；接着配置IP绑定（使用本机IP）和SSL设置（默认端口21）；设置身份验证方式；最后通过浏览器输入"ftp://IP"地址，使用账号密码即可访问服务器文件。全文提供了搭建FTP服务器的完整流程指南。
2026-03-18 18:25:59
55
原创 PG数据库管理 --对象（relation管理）总结
UNLOGGED表是从PostgreSQL9.1版本开始新增的一种表，主要是通过禁止产生WAL日志的方式提升写性能。因为没有WAL日志，所以表的内容无法在主备库直接同步，如果此时数据库异常宕机，表的内容将丢失，所以可以把UNLOGGED表称为“半临时表”。当然如果数据库是正常关机的，则UNLOGGED表的内容不会丢失。注意 在PostgreSQL中，不管是事务级的临时表还是会话级的临时表，当会话结束时都会消失，这与Oracle数据库不同，在Oracle数据库中，只是临时表中的数据消失，而临时表还存在。
2026-03-13 17:25:20
282
原创 postgresql数据库管理-元组管理
PostgreSQL的元组操作原理基于MVCC机制，通过事务ID和版本链实现数据可见性控制。插入操作会创建新元组并记录xmin；更新操作会创建新版本并标记原元组的xmax；删除操作通过设置xmax实现逻辑删除。所有操作均维护版本链，并通过VACUUM机制回收空间。系统通过比较事务ID与xmin/xmax判断元组可见性，支持不同隔离级别。这种设计保证了并发事务的数据一致性，但需要合理配置autovacuum以避免表膨胀。
2026-03-13 14:30:31
298
原创 Postgresql数据库管理-pg_xact
PG_XACT是PostgreSQL存储事务状态信息的目录，包含事务提交日志(CLOG)文件，记录事务提交/中止状态。这些固定大小的文件(约256KB)采用循环写入机制，由autovacuum自动清理过期记录。PG_XACT与WAL日志配合确保事务原子性和崩溃恢复，直接操作该目录可能导致数据损坏，应通过VACUUM等官方工具维护。
2026-03-13 14:12:43
51
原创 Postgresql数据库管理-事务并发控制0313
每个事务在启动时会被分配一个唯一的XID，用于标识事务的顺序和状态。PostgreSQL 的 MVCC 机制依赖 XID 判断行版本对事务的可见性。用于跟踪活跃事务，尤其在锁管理和监控中。长事务可能导致表膨胀或阻塞其他操作。操作以维护事务ID空间，尤其在频繁更新的数据库上。VXID由后端进程ID和临时分配的本地事务ID组成，格式为。，表示活跃事务的范围和列表。用于处理行级锁的并发事务组，通过。分别记录行的创建和删除事务ID。冻结旧事务ID（转为特殊值。函数获取当前事务的XID。可帮助识别事务冲突或异常。
2026-03-13 11:17:47
239
转载 Mysql数据库原理分析-Mysql-一条SQL查询的执行过程
总的过程大致可以分为三步。首先，在网络连接层，用户发出查询sql请求，Mysql的连接器负责处理和客户端的连接，并对用户进行身份认证和权限确认。第二步，进入Mysql的服务层，主要的功能都在这一步进行处理，包括查询缓存、解析器、优化器之类，比如SQL解析、优化、索引选择，到最后生成执行计划。最后，第三步调用存储引擎提供的API查询数据库中数据。
2026-03-13 10:19:33
19
原创 mysql数据库管理-clone克隆
MySQL Clone是MySQL 8.0.17引入的功能，通过clone插件实现数据库物理副本的快速创建，支持本地和远程两种方式。其原理包括数据快照、文件传输和自动恢复三个步骤，适用于备份、迁移和测试环境搭建。使用前需加载插件并配置权限，本地克隆直接拷贝文件，远程克隆通过网络传输数据。注意事项包括权限要求、网络性能、版本兼容性和日志处理。该功能显著简化了数据复制操作，提升了运维效率。
2026-03-11 09:07:49
253
原创 pg数据库开发-赋值
PostgreSQL中变量赋值主要通过PL/pgSQL实现，支持静态和动态赋值。基础语法使用:=或=运算符，可通过DECLARE声明变量并初始化。动态SQL使用EXECUTE...INTO赋值，查询结果通过SELECT INTO获取。还支持记录类型、数组赋值及默认值设置，未赋值变量默认为NULL。语法灵活，能满足不同场景的数据处理需求。
2026-03-10 14:52:39
45
原创 PG数据库管理-体系结构
本地内存由每个后端服务进程分配以供自己使用，当后端服务进程被fork时，每个后端进程为查询分配一个本地内存区域。在PostgreSQL中，将保存在磁盘中的块称为Page，而将内存中的块称为Buffer，表和索引称为Relation，行称为Tuple，数据的读写是。PostgreSQL的内存分为两大类：本地内存和共享内存，另外还有一些为辅助进程分配的内存等，下面简单介绍本地内存和共享内存的概貌。如果找到了正在查找的键的索引元组，PostgreSQL使用获取的TID值读取所需的堆元组。
2026-03-10 14:35:46
335
原创 PG数据库管理-pg系统表功能总结
可能是指与 WAL 接收相关的功能。是 PostgreSQL 中的一个系统视图，用于显示当前所有数据库会话（连接）的活动信息。通过查询此视图，可以监控数据库连接的状态、执行中的查询、客户端信息等，是性能分析和故障排查的重要工具。包含数据库名称、所有者、默认表空间、字符集编码等元数据。可通过此表查看当前实例中的所有数据库列表及其属性。存储数据库中的表、索引、序列等关系对象的元数据。包含对象名称、所有者、表空间、存储参数等信息。显示运行时参数的设置情况，包括参数名称、当前值、默认值、最小值、最大值等。
2026-03-10 14:03:58
179
原创 pg数据库管理-PostgreSQL 的 COPY TO 和 COPY FROM 命令
PostgreSQL的COPY命令提供高效数据迁移方案，包含COPY TO（导出数据到文件）和COPY FROM（从文件导入数据）两种操作。支持CSV、文本和二进制格式，可指定分隔符、列名行和NULL值表示等选项。使用时需注意文件路径权限和格式一致性，批量操作时建议临时禁用索引以提高性能。通过\copy命令可在客户端执行类似操作。该功能特别适合大数据量的备份、迁移和批量处理场景。
2026-03-10 11:00:06
325
原创 PG数据库管理-PostgreSQL 常用命令行元命令汇总
PostgreSQL的psql工具提供了一系列以反斜杠开头的元命令，用于高效管理数据库操作。主要包括：信息查询类（如\l查看数据库、\d查看表结构）、格式控制类（如\x切换输出格式、\pset调整显示样式）、性能监控类（如\timing显示执行时间、\watch定时执行查询）、连接操作类（如\c切换数据库、\q退出）以及文件操作类（如\i执行SQL文件、\o输出到文件）。这些命令支持组合使用，例如结合\timing和\d分析表结构性能，或通过\watch实时监控数据变化，能显著提升数据库管理效率。
2026-03-10 10:55:57
151
原创 postgresql管理-pg_hba.conf 文件详解管理
pg_hba.conf 是 PostgreSQL 中用于控制客户端认证的配置文件，全称为 “Host-Based Authentication”。该文件定义了哪些主机、用户、数据库可以连接 PostgreSQL 服务器，以及使用何种认证方式。实际解释：允许主机可以通过什么连接方式和认证方法通过哪个数据库用户连接哪个数据库。文件位置通常位于：文件格式为每行一条记录，每条记录包含以下字段：允许本地所有用户无密码访问所有数据库：允许192.168.1.0/24网段用户通过密码访问特定数据库：拒绝来自10.
2026-03-10 09:14:18
426
转载 postgresql管理-PostgreSQL一主两从实现及主从切换
本文详细介绍了PostgreSQL数据库高可用(HA)的实现方式，包括热备份（流复制）和冷备份（文件复制）。重点阐述了一主两从架构的搭建步骤：1）在三台服务器上安装配置PostgreSQL；2）主库配置WAL日志和复制参数；3）从库通过pg_basebackup初始化并配置recovery.conf；4）设置主从连接验证同步状态。文章还提供了主从切换的具体操作流程：原主库故障时，通过trigger文件提升从库为主库，并重新配置其他节点。最后介绍了通过pg_stat_replication视图和pg_cont
2026-03-10 02:19:25
75
原创 postgressql管理-pg常用得系统数据类型汇总0309
PostgreSQL提供了丰富的数据类型系统，包括数值类型（整数、浮点数）、字符类型（varchar、text）、日期时间类型（date、timestamp）、布尔类型、二进制类型（bytea）、网络地址类型（inet）、JSON类型（json/jsonb）、数组类型、UUID类型、几何类型（point、polygon）、全文搜索类型（tsvector）、枚举类型和复合类型。这些数据类型覆盖了数据库应用的常见需求，PostgreSQL的灵活性允许用户根据具体场景选择最合适的数据类型存储方案。
2026-03-09 17:06:59
203
原创 postgressql管理-pg常用得系统函数汇总0309
PostgreSQL提供了多种实用系统函数，涵盖数学运算、字符串处理、日期时间、聚合计算、类型转换、窗口函数、JSON操作及系统信息查询等功能。特别针对WAL日志管理，提供了pg_current_wal_lsn()、pg_switch_wal()等关键函数用于日志位置查询、文件切换和恢复点创建。此外，还包含pg_reload_conf()等配置重载函数，支持动态调整参数而无需重启服务。这些函数极大简化了数据库操作，提升了查询效率和管理灵活性，使用时需注意权限要求和版本差异。
2026-03-09 16:43:11
423
转载 PG数据库备份与恢复-pg_basebackup物理备份与恢复
摘要：pg_basebackup是PostgreSQL的热备物理备份方式，支持流协议备份但不中断数据库运行。备份时生成base.tar和pg_wal.tar压缩文件，包含数据文件和归档日志。恢复需停止数据库，替换数据文件并配置归档设置，启动后数据库处于只读状态，需执行pg_wal_replay_resume()或pg_ctl promote恢复写入功能。示例演示了在192.168.123.60服务器上创建自定义表空间、备份及恢复全过程，包括处理表空间软链接和WAL日志恢复配置。该方式适用于能接受冷恢复的场景
2026-03-08 20:57:19
49
转载 Postgres数据库管理-主备高可用搭建步骤V1
摘要：本文详细介绍了PostgreSQL主备高可用环境的搭建过程，包括主备库配置、流复制设置、故障切换演练等关键步骤。主要内容涵盖：1）主库配置pg_hba.conf和postgresql.conf关键参数；2）创建专用复制用户；3）使用pg_basebackup工具进行备库初始化；4）主备同步验证方法；5）故障切换操作流程；6）进阶配置如同步复制和监控方案。文章提供了具体命令和参数说明，并强调生产环境中需结合监控告警和定期演练，确保高可用方案的有效性。
2026-03-08 17:59:09
38
转载 PG数据库管理-配置文件 postgresql.conf 参数文件管理
本文详细介绍了PostgreSQL数据库生产环境中的关键配置优化。主要内容包括：连接控制参数（如max_connections）、内存管理参数（shared_buffers、work_mem等）、I/O优化设置（bgwriter相关参数）、WAL日志配置（max_wal_size等）、日志系统参数（log_directory、log_rotation等）以及自动清理（autovacuum）相关配置。文章提供了完整的配置脚本模板，并对每个重要参数的功能、推荐值及调整依据进行了详细说明，特别强调生产环境与测试环
2026-03-07 16:12:35
57
原创 PG数据库管理-数据库单实例源码安装以及后期配置
本文介绍了PostgreSQL 18.3的完整安装流程：1）从官网下载源码包并解压；2）安装必要的开发工具和依赖包（Development Tools、bison、flex等）；3）通过configure配置安装参数，可自定义数据块大小；4）编译安装并创建postgres用户和数据目录；5）初始化数据库并设置密码；6）配置pg_hba.conf文件设置访问权限。安装过程中需注意以postgres用户启动服务，并正确配置环境变量。该指南涵盖了从源码编译到数据库初始化的完整步骤，适用于多种Linux发行版。
2026-03-06 23:35:43
464
原创 MGR管理--SEC节点ERROR分析处理
MySQL组复制节点因存储函数安全限制报错，错误代码MY-001418T。该问题源于MySQL安全机制要求存储函数必须声明确定性属性，否则在二进制日志开启时会拒绝创建。解决方法是将全局参数log_bin_trust_function_creators设置为ON，该参数控制是否允许创建非确定性存储函数。设置完成后需要重启组复制服务以使变更生效。该安全机制旨在防止主从不一致问题，但开发者可通过调整参数来规避此限制。
2026-03-05 17:06:46
191
转载 每日一进步---mysql克隆详解
摘要：MySQL 8.0.17引入的Clone插件支持本地和远程数据克隆功能。本地克隆可将实例数据备份到同服务器指定目录，远程克隆则从捐赠者实例复制数据到接收者实例。两种模式均需相应权限（BACKUP_ADMIN/CLONE_ADMIN），且仅克隆InnoDB数据。克隆过程需注意目录结构变化、版本兼容性等问题，不支持DDL操作和二进制日志克隆。该功能适用于快速备份、搭建从库及MGR节点扩展等场景，通过SQL命令即可完成操作，显著提升MySQL实例管理效率。（149字）
2026-03-05 16:48:33
42
原创 MySQL性能优化-using filesort分析优化
MySQL查询优化：消除Usingfilesort的关键策略 摘要：本文系统总结了消除MySQL查询中Usingfilesort的优化方法。核心策略包括：1)合理设计复合索引，确保ORDERBY列被索引覆盖；2)查询重写技巧，如避免SELECT*、使用覆盖索引；3)分页优化技术，如延迟关联；4)多表JOIN时的排序下推。高级技巧涉及生成列、分区表优化等。同时提供了紧急处理方案和系统参数调优建议。最佳实践强调索引优先原则，通过EXPLAIN分析验证优化效果，从根本上避免而非优化filesort操作。
2025-12-11 15:44:26
887
转载 Postgresql备份与恢复-pg_basebasckup
pg_basebackup用于对正在运行的PostgreSQL数据库集群进行基本备份。备份是在不影响数据库的其他客户端的情况下进行的，并且可以用于时间点恢复和作为日志传送或流复制备用服务器的起点。pg_basebackup 不仅可以从主服务器也可以从备用服务器进行基本备份。要从备用数据库进行备份，请设置备用数据库以便它可以接受复制连接（即 setmax_wal_senders和hot_standby，并对其进行pg_hba.conf适当配置）。您还需要在主节点上启用full_page_writes。
2025-02-08 10:11:30
429
ogg extract etrollover
2016-08-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人