喜酱的探春-CSDN博客

原创数据库模型设计案例分享（GaussDB版）1

其中数据库设计(Database Design)是E-R设计模型中的主要环节。第二步：数据库设计：主要包括概念结构设计、逻辑结构设计、物理结构设计等。第三步：数据库实施：选择数据库软件，并进行落地。第一步：需求分析：主要包括数据、功能、性能等。第四步：数据库系统运行、维护和优化。应用系统数据库设计的基本流程。

2024-10-28 19:25:54 89

数据库自治运维技术领域，主要分为两条技术路线。GaussDB基于机器学习技术和云上海量数据信息，构建领先的自治运维管理系统，通过成熟算法实现负载感知、环境感知和数据感知，为数据库提供自监控、自诊断、自调优、自安全的能力，为客户和DBA提供极佳的运维管理体验。其中数据存储用于接收来自数据采集层发生来的数据，存储数据源可以是多种维度或者类型，包括普罗米修斯、时序数据库（OpenTSDB等）、MongoDB、SQLite等，自治运维服务内置对接接口，每个自治服务模块与存储数据源的交互，获取数据并进行分析处理。

2024-10-28 19:25:15 671

原创智能优化揭秘——GaussDB数据库查询重写的自动挖掘与生成

但是有了WeTune以后，开发者只要按照形式化语言去描述重写规则，然后WeTune拿去做验证，证明该规则在约束下是等价的，就可以放心地将该重写规则添加到GaussDB中，节约验证时间，对GaussDB的开发等流程非常有帮助。查询改写是数据库SQL优化过程中非常重要的部分，在语义不变的情况下，它可以把一条普通的或者性能不好的SQL语句优化成一条性能更好的SQL语句，实现查询效率的提升。但是，改写规则非常多的时候，会导致改写和规则匹配的时间非常长，导致资源的极大浪费，也会影响用户体验。

2024-10-28 19:24:39 559

原创华为GaussDB数据库包括：事务性（OLTP）数据库、分析型（OLAP）数据库和混合负载（HTAP）数据库

数据库包括：事务性（OLTP）数据库、分析型（OLAP）数据库和混合负载（HTAP）数据库。这里需要解释下OLTP、OLAP、HTAP之间的区别，这也是数据库最基本的内容。据库系统一般分为两种类型：一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；一种是重计算的，对大数据集进行统计分析的OLAP类型。本身不产生数据，其基础数据来源于生产系统中的操作数据（OperationalData）；基于交易的处理系统（Transcation-Based）；对响应时间要求非常高；基于查询的分析系统；

2024-10-28 19:24:05 260

原创 GaussDB企业级AI-Native分布式数据库

GaussDB：分布式&AI原生。GaussDB采用MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte，2的50次方字节)级别数据量的处理能力。华为GaussDB将AI能力植入到数据库内核的架构和算法中，为用户提供更高性能、更高可用、更多算力支持的分布式数据库。采用 MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供 PB(Petabyte，2 的 50 次方字节)级别数据量的处理能力。

2024-10-28 19:23:05 160

原创 GaussDB技术解读——GaussDB架构介绍之数据持久化存取层(DataNode)关键技术方案

当一个更新操作将老版本元组更新为新版本元组之后，如果老版本元组所在页面仍然有空闲空间，则直接在该页面内插入更新后的新版本元组，并在老版本元组中记录指向新版本元组地址的指针。同时，由于新版本元组位置相对老版本元组位置发生了变化，而索引中只记录了老版本元组的位置，因此容易导致索引膨胀。为了缓解索引膨胀这个问题，对于同一个页面内的更新，采用了HOT技术，将同一个记录的多个版本按从老至新的更新顺序给串连起来，但是这种从老至新的更新链顺序，对于并发的OLTP类短查询是效率是比较低，需要遍历的版本个数较多。

2024-10-28 19:22:14 285

原创 GaussDB技术解读——GaussDB架构介绍之全局事务管理层（GTM）关键技术方案

GTM 仅处理全局时间戳请求， 64位CSN递增，几乎都是CPU ++和消息收发操作。不是每次都写ETCD, 而是采用定期持久化到ETCD 里，每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障，CSN从ETCD读取出来的值保证单调递增。当前GTM 只完成CSN++, 预估可以支持200M/s 请求。GTM处理获取csn消息和csn++的消息, TCP 协议栈消耗CPU会非常严重，采用用户态协议栈提高GTM单节点的处理能力。

2024-10-28 19:21:39 217

原创 GaussDB技术解读——GaussDB架构介绍之集群管理层（CM）关键技术方案

即，对于某一个DN分片来说，故障后的选主，需要得到大多数DN的投票，候选DN副本才可以被选中升主。CM与各类组件的主备数据同步、倒换、重建等机制高度融合，提供告警、重启、倒换、隔离等手段，赋予数据库实例故障恢复及自愈的高可用（HA）能力，保证数据的可靠性和完整性，最终实现集群对外的业务连续性。从业界经验来看，数据库实例可能处于故障、僵死、亚健康等状态。关键技术方案要点：1）DN 副本自仲裁，缩短仲裁链路，减小RTO 2）采用Paxos一致性协议，保证DN副本间的一致性，避免备机由于日志分叉产生增量重建。

2024-10-28 19:21:07 698

原创 GaussDB技术解读——GaussDB架构介绍之OM运维管理关键技术方案

通过OM Adaptor和OM Agent 采用适配器模式设计，对管控面提供了统一的北向接口。华为云Console调用云管控服务，云管控服务根据用户输入的运维操作，如购买实例，进行相应的操作，如购买实例，云管控服务会创建虚拟机。用户登录华为云Console，访问GaussDB Kernel V5的管控页面，输入想要的运维操作（购买实例）。云管控服务调用Mgr Agent，Mgr Agent会调用内置插件Adapter。OM Agent会调用OM来完成具体的运维操作。Adapter会调用OM Agent。

2024-10-28 19:20:42 239

原创 GaussDB 24.1.30 分布式3节点命令行方式部署（3）

预安装的目的是在实例安装前完成实例的环境配置，以保证实例安装的正常进行预安装的 adaptor 接口名称为 preinstall，预安装需要在待安装实例的所有节点上以实例用户身份来执行。预安装完成后，就可以进行实例的安装了。实例安装的 adaptor 接口名称为 install，只需以实例用户身份在实例任一个节点上执行即可。数据库使用 adaptor接口方式的安装，在adaptor、om-agent安装完成后，会调用 adaptor接口来执行实例的预安装和安装。om_agent安装。

2024-10-28 19:18:48 277

原创 GaussDB 24.1.30 分布式3节点命令行方式部署（2）

修改安装脚本中的install_cluster.conf 配置文件 install_cluster.conf 配置文件参数说明注意：密码中不能用连续的数字。GaussDB 数据库使用 adaptor接口方式的安装，在adaptor、om-agent安装完成后，会调用 adaptor接口来执行实例的预安装和安装。举例:需要把cn_dir路径配置到/data/cn路径下配置修改格式:cn dir=/data/cn。查看pkgDir目录下的安装包注意：此处注意清理掉其他所有文件，仅仅保留以下的几个文件。

2024-10-28 19:18:14 472

原创 GaussDB 24.1.30 分布式3节点命令行方式部署（1）

root@node01 pkg]# ls -l Gau*-rw-r–r-- 1 root root 32392827 4月 18 23:49 GaussDB-Kernel_505.1.0.B026_Om_X86_Distributed.tar.gz-rw-r–r-- 1 root root 861349604 4月 18 23:49 GaussDB-Kernel_505.1.0.B026_Server_X86_Distributed.tar.gz。

2024-10-28 19:17:22 773

原创 GaussDB技术解读系列：运维自动驾驶探索

数据库的可观测能力对于数据库的运维十分重要，GaussDB全链路监控具备从硬件、OS、DB等分层监控，构建从采集、发送、展示、分析到巡检等全链路能力，并且打通了硬件到操作系统，到数据库整个监控链的通道。所谓全局快慢车道，就是定义两个资源池，一个是正常资源池，我们称为快车道，快车道提供大量的资源，正常业务在快车道运行，如果出现交通事故，这里的交通事故就是指异常的SQL业务，我们可以通过页面一键将异常SQL放到慢车道中，慢车道限制了对资源的使用，这样交通事故处理完了，快车道可以继续保持高速运行。

2024-10-28 16:15:15 449

原创查看GaussDB实例总览

没有数据库实例时，总览页面没有数据库实例相关信息，只展示“开始创建数据库实例”功能。显示“实例管理”中“运行状态”为“创建失败”的实例个数。显示“实例管理”中“运行状态”为“创建中”的实例个数。显示“实例管理”中“运行状态”为“异常”的实例个数。显示“实例管理”中“运行状态”为“冻结”的实例个数。单击“创建中”，跳转到实例列表，仅展示创建中的实例。显示“实例管理”中“运行状态”为“正常”的实例个数。单击“运行中”，跳转到实例列表，仅展示运行中的实例。显示“实例管理”中“运行状态”为“停止”的实例个数。

2024-10-28 16:13:41 332

原创购买GaussDB实例

最终一致性：应用更新数据时，不同用户查询到的数据可能不相同，有可能是更新后的值，也有可能是更新前的值，但经过一段时间后，查询到的数据均是更新后的值，该类型通常具有较高的性能。注意，不支持分布式事务强一致性读，不支持insert into select * from等依赖于查询结果的事务一致性，不支持拆分成多语句的写操作，不支持涉及多个节点执行的写操作。仅分布式版实例可选。一个分片指的是一组DN副本集，分片内的DN数量与“副本集数量”参数有关，例如副本集数量为3，则一个分片就包含一主两备三个DN节点。

2024-10-28 16:11:30 336

原创 gauss游马会openGauss-开箱即用

基于环境信息与业务信息，自动调整操作系统以及数据库参数，达到开箱性能即最优。

2024-09-06 14:20:21 176

原创 Gauss游马会openGauss-全量迁移gs_mysync

gs_mysync工具是一个基于Python语言的MySQL到openGauss的复制工具。该工具提供了初始全量数据及对象（视图、触发器、函数、存储过程）的复制能力，可实现数据及对象从MySQL迁移至openGauss。对于数据的全量迁移，支持MySQL中各种数据类型的迁移，同时对于MySQL中的浮点数据类型，包括decimal、dec、numeric、float、float4、float8、real、double、double precision、fixed数据类型，可保证迁移后数据精度不丢失。

2024-09-05 09:19:02 268