qq_61920297的博客

原创 达梦数据库实战：备份恢复与数据迁移全攻略（实例初始化、服务注册、路径迁移）

在达梦数据库（DM8）的生产运维中，是数据安全的最后一道防线，是实例扩容、路径调整的核心操作。本文结合实战场景，从零开始讲解达梦数据库实例初始化、服务注册、归档开启、全量 / 增量 / 指定 LSN 备份恢复，以及实例路径迁移的完整流程，覆盖大小写不敏感、UTF-8 字符集等生产常用配置。

原创 DM达梦数据库安全、审计功能学习记录

本篇文章主要介绍：达梦数据库安全管理功能包括用户标识与鉴别、自主与强制访问控制、审计、加密传输等。

原创 达梦DEM和DFM的介绍、搭建学习记录

本文介绍了达梦数据库监控工具DEM和DFM的搭建过程。DEM是达梦企业管理器，采用CS架构收集数据、BS架构展示数据，提供集群部署、自动巡检、监控告警等功能。

原创 达梦DMDRS搭建、以及DMDRS双向同步

达梦数据复制软件(DMDRS)是一种用于同构/异构数据库间数据迁移和同步的工具。产品支持无侵入性的增量数据捕获和装载与同步并行执行技术，实现全量与增量数据的无缝衔接。

原创 DM8了解数据库SQL执行计划、常用性能分析方法、SQL优化方法

数据库性能分析与SQL优化摘要 本文介绍了数据库性能分析与SQL优化的核心方法。

原创 DM8数据库读写分离集群安装部署

本文介绍了达梦数据库(DM8)读写分离集群的安装部署流程。主要内容包括：1) 达梦数据库版本特性对比；2) 集群硬件配置、端口规划和目录结构设计；3) 详细的操作系统配置步骤，涵盖时间同步、防火墙设置、SELinux关闭、磁盘挂载、内核参数优化等；4) 用户权限及目录创建规范。部署方案采用3节点架构，提供完整的系统调优建议，为构建高可用数据库集群提供技术指导。相关配置文件和命令均已列出，适合DBA参考实施。

原创 DM8搭建同构(dm-dm)及异构数据库（dm-oracle,dm-mysql）的dblink

DM 中的一种特殊的数据库实体对象，它记录了远程数据库的连接和路径信息，用于建立与远程数据的联系。这个链接可以是公用的（数据库中所有用户使用），也可以是私有的（只能被某个用户使用）。用户可以通过外部链接对远程数据库的表进行查询和增删改操作，以及本地调用远程的存储过程。使用限制DM-DM 的同构外部链接不支持 MPP 环境，DM 与异构数据库的外部链接支持 MPP 环境；增删改不支持 INTO 语句；不支持使用游标进行增删改操作；不支持操作远程表的复合类型列；

原创 DM8事务管理，多版本并发控制，及达梦开发接口

JDBC（Java Database Connectivity）是 Java 应用程序与数据库的接口规范，旨在让各数据库开发商为 Java 程序员提供标准的数据库应用程序编程接口（API）。JDBC 定义了一个跨数据库、跨平台的通用 SQL 数据库 API。建立与 DM 数据库的连接；转接发送 SQL 语句到数据库；处理并返回语句执行结果。ODBC 提供访问不同类型的数据库的途径。结构化查询语言 SQL 是一种用来访问数据库的语言。

原创 DM存储过程及系统 表，系统视图，以及常规的运维SQL语句

本文介绍了达梦数据库(DM)中存储过程、触发器、包和游标等对象的基本操作。

原创 DM8达梦分布式计算数据库集群DPC安装部署学习记录

本文介绍了达梦数据库分布式集群DMDPC的架构与部署方案。DMDPC由SQL处理器(SP)、后端处理器(BP)和元数据服务器(MP)三部分组成，支持高可用、高扩展和高性能特性。

原创 DM8达梦共享存储集群DSC搭建步骤

本文介绍了达梦数据库DSC集群的搭建过程，主要包括DSC集群概述、基于DMASM的DMDSC搭建方案、用户创建以及共享存储实现。

原创 DM用户权限、表、约束等对象的基本操作，SQL日志的开启介绍

摘要： 本文介绍了达梦数据库(DM)中模式对象的基本操作，重点讲解了表、视图、索引、约束等对象的创建与管理方法。主要内容包括： 表管理：DM支持聚簇索引表、临时表等多种表类型，详细说明了创建表、指定聚簇索引、设置填充因子等操作，并演示了查询建表和自增列的使用。 表关系设计：通过专业表、课程表和学生表三个示例，展示了主键、外键约束的创建方法，以及如何构建表间的关联关系。 视图操作：介绍了视图的创建语法，并通过示例展示了如何获取视图的执行计划。 性能优化：强调了合理设置聚簇索引和填充因子对查询性能的影响，提供了

原创 DM8达梦数据库备份、恢复原理介绍

摘要：本文介绍了达梦(DM)数据库的备份恢复原理与实践操作。主要内容包括：备份分为逻辑备份和物理备份，物理备份又分为脱机备份和联机备份；详细解释了REDO日志、LSN、检查点和归档等核心概念；说明了备份恢复的执行流程，包括数据还原和数据恢复两个步骤；提供了数据库备份恢复的具体操作示例，包括全量备份、基于时间点的恢复等场景。文章还特别介绍了达梦数据库特有的MAGIC魔数机制，用于区分备份源库与还原目标库。

原创 DM达梦数据库体系结构学习记录

帮助PG工程师快速掌握达梦数据库体系结构和数据库按照部署

原创 PG 数据库对象迁移表空间测试

PG数据库对象迁移表空间测试报告摘要 本次测试验证了PostgreSQL数据库中表、索引等对象迁移到自定义表空间的可行性。测试环境采用FlyingDB 11.3集群，包含2个CN节点和4个DN节点。测试创建了history_index表空间，并在其中建立了包含50万条数据的cpu测试表及其索引。通过SQL命令成功将表的主键索引和普通索引迁移到新表空间，验证了不同对象类型(表、主键约束、普通索引)的表空间迁移效果。

原创 excel表格vlookup函数的使用

原创 PostgreSQL数据库迁移操作指南

在进行数据库迁移前，要对新老集群进行全面检查，确保无异常，防止迁移过程中出现问题。

原创 CrateDB单库、集群安装

CreateDB表可以有主键，但是无法创建索引。CreateDB不支持外键约束。

原创 zookeeper的zkCli.sh登录server报错【无法正常使用】

【代码】zookeeper的zkCli.sh登录server报错【无法正常使用】

原创 Citus的TPCC、TPCH性能测试

本次为Citus+PostgreSQL分片数据库性能测试,测试目的为测试Citus+PostgreSQL数据库的事务处理能力,编写本文档,以作参考.本测试计划适用于PostgreSQL数据库功能和性能测试.2*E5-2680 v4(2.40GHz 14核)8*32GB RDIMM-2400内存8*1.6T MLC SSD2*双万兆光口网卡PGDB-16.4-8k-rhel7-x86_64：PostgreSQL 16.4 on x86_64-pc-linux-gnu, compiled by gcc

原创 zabbix5.0.46版本源码安装

本例中安装zabbix开源软件和zabbix运行所需的中间件和数据库apache、php和flyingdb。

原创 逻辑复制parallel并发参数测试

cpu表中有1000万条数据，大小为1652MB,当更新的数据量多于10万条的时候有明显变化，多余30万条的时候相差2倍。更新的数据量较多时，逻辑复制使用并发参数相比于使用默认参数性能更高。更新的数据量较少时，逻辑复制使用并发参数相比于使用默认参数性能相差不大。

原创 H2 Database安装部署

内存表是持久化的，但索引数据存储在主内存中，这意味着内存表不应过大。缓存表（普通表的默认类型）是持久化的，其行数不受主内存限制。java版本要高于java 11。

原创 RAID的原理及实现

RAID（独立磁盘冗余阵列，Redundant Array of Independent Disks），磁盘阵列技术。现代硬盘的缺陷：IO性能极弱、稳定性极差。硬盘性能的指标有两个：磁盘的吞吐量和IOPS（每秒进行读写（I/O）操作的次数）现代的计算机总线、内存的速度可以达到5G毎秒，甚至更高，但是硬盘RAID (Redundant Array of Independent Disks)廉价磁盘冗余阵列技术是通过多磁盘并行运行来提高计算机的存储IO性能。

原创 Linux系统和数据库常用的命令2

本文旨在介绍在工作中常用的数据库和 Linux 系统操作及命令，帮助读者提高对这两个领域的理解和应用能力。首先，我们将探讨数据库管理的基本概念，包括常见的 SQL 操作，如数据查询、插入、更新和删除等。接着，文章将转向 Linux 系统，介绍基础命令行操作，包括文件管理、用户权限、系统监控以及网络配置等。通过实际例子和命令解析，读者将能够掌握日常开发和运维中的关键技能，从而提升工作效率并解决常见问题。希望本文能为读者提供实用的参考，支持他们在数据库管理和 Linux 环境中的有效操作。

原创 在PostgreSQL数据库中通过MySQL外部数据封装器（FDW）访问MySQL数据

通过本文的介绍，我们成功地在PostgreSQL中配置了MySQL外部数据封装器，并实现了对MySQL数据库中数据的访问和操作。通过MySQL外部数据封装器（FDW），PostgreSQL可以无缝地访问MySQL数据库中的数据，从而实现跨数据库的数据查询和操作。本文详细介绍了如何在PostgreSQL数据库中配置MySQL外部数据封装器（FDW），以便在PostgreSQL环境中直接访问和操作MySQL数据库中的数据。在MySQL数据库中，创建一个具有远程访问权限的用户，并授予其所有数据库的所有权限。

原创 在Linux系统中安装Python 3，以及修改python默认版本

通过以上步骤，您已经成功安装了Python 3.9.16，并将其设置为默认Python版本。希望对您有所帮助！

原创 PostgreSQL分区表原理、案例的灵活应用

PostgreSQL分区表案例的灵活应用：PostgreSQL10之前的版本不支持内置分区表，若要实现分区功能，需通过继承的方式实现。PostgreSQL 10.x 之前的版本提供了一种“手动”方式使用分区表的方式，需要使用继承 + 触发器的来实现分区表，步骤较为繁琐，需要定义附表、子表、子表的约束、创建子表索引，创建分区删除、修改，触发器等。PostgreSQL 10.x 开始提供了内置分区表（内置是相对于 10.x 之前的手动方式）。内置分区简化了操作，将部分操作内置，最终简单三步就能够创建分区表。

原创 需熟悉的，PG数据库运行机制

一个连接就是一个单独的进程，这些进程都会去数据库里跑SQL，都会占用共享内存，64核心的cpu物理机，配置的数据库连接数过大会影响性能。简单来说，如果要进行数据恢复，需要找到最近一次数据落盘的点（检查点），然后根据归档日志的信息重放sql操作，使其达到数据一致。，每个实例都有一个递增的数字表示时间线，作用是数据复制时确定数据的变更顺序和一致性，新主库会创建新的时间线保证数据一致性。，则说明数据页面比较旧，需要进行回放，反之则不需要回放，就会跳过回放过程。系统故障时间越短，故障次数间隔时间越长，高可用越好。

原创 Linux系统运维、数据库DBA、遇到的基本问题

Linux系统，数据库DBA，遇到的基本问题:在Linux系统中，数据库管理常见的一些基本问题包括性能优化、数据备份和恢复、用户权限管理、以及故障排除。性能优化涉及调整查询效率和索引使用，以提升响应速度。数据备份和恢复确保在系统故障时能够安全恢复数据，通常需要定期进行完整或增量备份。用户权限管理则确保不同用户具有适当的访问权限，以维护数据安全性。此外，故障排除过程通常包括检查日志文件、监控系统资源，以及使用工具分析问题，以迅速恢复数据库正常运行。

原创 RabbitMQ消息队列，单机环境yum源安装

RabbitMQ消息队列，单机环境yum源安装。

原创 Zabbix监控环境搭建，监控项简单、高级应用，包括自定义监控项、采集器、自动发现规则、监控项原型、宏

Zabbix监控环境搭建，监控项简单、高级应用。其中包括、自定义监控项，采集器，主动被动模式，邮件报警，zabbix5.0基础

原创 WalMiner工具验证fosync功能

walminer工具fosync功能的验证建议实验walminer版本：https://gitee.com/movead/XLogMiner/releases/download/walminer_dev_4.6.0_20240306/walminer_x86_64_centos_v4.6.0.tar.gzwalminer的安装步骤建议参考我之前的文章：https://blog.csdn.net/qq_61920297/article/details/140838936?fosync帮助文档

原创 WalMiner4.0日志挖掘工具的使用

1、walminer是PostgreSQL的wal日志解析工具，4.0版本摒弃插件模式改为bin模式，现已脱离对目标数据库的编译依赖和安装依赖，一个walminer工具可以解析PG10~PG16的WAL日志。现已实现的功能为。2、walminer4.0改变使用机制，无需在目标数据库做任何操作，即可完成wal解析。另外walminer工具的编译安装不再依赖任何数据库版本，因此一份walminer工具可以支持多个PG版本的解析。（walminer4.0版本需要问作者购买license。

原创 MongoDB分片集群部署，使用

MongoDB两个分片的集群部署和简单应用

原创 yum工具报错，启动不了，不可用

yum源工具报错，无法启动

原创 MongoDB数据库，单库、集群、Docker安装部署以及注意事项

MongoDB数据库，主、备架构，linux安装部署。三个成员副本集提供了足够的冗余，足以应对大多数网络分区和其他系统故障。这些副本集的容量也足以满足许多分布式读操作的需求。副本集的成员数应始终为奇数。这将确保选举顺利进行。在以下三节点副本集中，主节点接受所有写入操作。然后，从节点复制 oplog 以应用于其数据集。1、向副本集添加新节点，3、使用或等方法执行副本集维护，并且4、从节点成员失去与主节点成员的连接的时间超过所配置的timeout（默认为 10 秒）。成功完成选举之前，副本集无法处理写入操作。

原创 PostgreSQL数据库，找出阻塞进程的SQL语句

结论：当数据库响应时间过长的时候，就有可能存在占用资源很多的SQL语句。

原创 PostgreSQL的MVCC（多版本并发控制）机制和表膨胀的解决方法

结论：PG数据库导致表膨胀的原因是逻辑删除的历史数据清除不及时主流的MVCC机制如下：1、以Oracle和Innodb为例，写如新数据时，把旧数据转移到一个单独的地方，如回滚段中，如果其他人读取数据时，从回滚段中把数据读取出来，可以有效避免膨胀。2、以SQL Server为代表的，把旧版本的的数据写入专门的临时表空间中，新数据写入日志中，然后去更改数据，也可以有效地避免膨胀。3、PG修改时，旧数据不删除，只是标注为无效（逻辑删除，在某个时间再去清理）

原创 PostgreSQL数据库查看执行计划，优化SQL语句

SQL查询策略，如 Seq Scan（顺序扫描）、Index Scan（索引扫描）、Nested Loop（嵌套循环连接）等。这会返回一个详细的查询计划，包括表的访问方式（如顺序扫描或索引扫描）、连接方法（如嵌套循环连接或哈希连接）、是否排序、使用的索引等信息。结论：SQL查询的优化指标包括执行时间、查询计划、IO操作、索引使用情况、内存使用情况、锁定、并发和CPU使用情况。**Cost：**估计的执行成本，这是 PostgreSQL 用于优化查询计划的重要指标之一。