2401_84019050-CSDN博客

原创智能关键技术一：自治运维系统

在数据库集群层面，基于故障或者负载需求，提供自动扩缩容、异常节点修复服务。其中秒级采集包括操作系统资源信息采集和数据库实例信息采集，例如操作系统层面CPU、内存、IO读写、网络资源信息采集，数据库实例状态、数据库内关键指标（内存、连接数、TPS、QPS、读写频率等）；其中数据存储用于接收来自数据采集层发生来的数据，存储数据源可以是多种维度或者类型，包括普罗米修斯、时序数据库（OpenTSDB）、MongoDB、SQLite等，DBMind内置对接接口，AI模块与存储数据源的交互，获取数据并进行处理。

2024-10-29 11:41:45 514

原创智能关键技术三：智能优化器

分别使用基于独立性假设的单列建模和基于条件独立假设的贝叶斯网络计算查询 SELECT * FROM table WHERE A=A1 AND B=B1 AND C=C1的选择率：单列建模：P(A=A1, B=B1, C=C1)=P(A1)P(B1)P(C1)=0.5 * 0.67 * 0.67=0.22贝叶斯网络：P(A=A1, B=B1, C=C1)= P(A1)P(B1|A1)P(C1|B1)=0.5。概率建模过程中，针对形如P(离散值|离散值)的条件概率使用概率表记录每种值的概率；

2024-10-29 11:41:11 809

原创智能关键技术二：库内AI引擎

同时对已生成的模型进行管理，包括模型评估、定期模型验证、模型导入、模型导出等能力，在验证模型失效后，模型漂移功能可以进行模型刷新，保障模型可用。在执行器中，提供多种AI算子，例如GD算子可支持逻辑回归、分类；KMeans算子支持聚类。在每个算子实现过程中，遵循执行器算子实现逻辑，下层对接Scan算子，上次提供AI算子的训练或推理结果。AI底座和执行层在AI底座中，提供超参优化能力，即用户不指定超参数或者指定超参数的范围，自动选择适合的参数，该功能极大提升用户使用的效率，同时达到最佳的训练性能。

2024-10-29 11:40:34 222

原创 GaussDB数据库中逻辑对象关系简析

总结GaussDB数据库的逻辑对象之间的关系，如下图所示：在逻辑层面，GaussDB数据库以不同的database进行逻辑上的区分，一个数据库实例中可以定义多个database，database内可以定义不同的schema、schema内又包含不同的数据库对象。在物理存储层面，表空间对应的是实际的数据存储目录，同一个database可以使用不同的表空间、同一个表空间又可以被不同的database使用。不过在实际使用过程中建议使用默认的表空间。

2024-10-29 11:38:59 515

原创 GaussDB数据库的备份与恢复

支持导出的数据库可以是默认数据库postgres，也可以是自定义数据库。例如，T1时刻启动gs_dump导出A数据库，那么导出数据结果将会是T1时刻A数据库的数据状态，T1时刻之后对A数据库的修改不会被导出。gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。数据库级备份前，请执行如下命令检查数据库运行状态，cluster_state为Normal时表示数据库正常运行，可以备份数据库。balanced：平衡状态。

2024-10-29 11:38:27 687

原创 GaussDB数据库SQL系列-复合查询

复合查询是SQL查询的一个高级特性，它允许用户通过结合多个简单查询来执行更复杂的数据检索操作。通过探索复合查询，包括使用UNION、INTERSECT、EXCEPT以及高级技巧如子查询和各类JOIN操作，我们可以看到GaussDB在处理复杂数据查询方面的强大能力。掌握这些高级查询技能对于进行深入的数据分析至关重要，能够显著提升在GaussDB中进行数据处理和分析的效率和准确性。复合查询是SQL中一种强大的工具，用于结合多个独立查询结果以形成一个单一的查询结果。INTERSECT：返回两个查询共有的记录。

2024-10-29 11:37:57 347

原创 GaussDB轻量化运维管理工具介绍

本期课程将从管理平台的架构出发，结合平台的实例管理、实例升级、容灾管理和监控告警的功能和操作介绍，全面覆盖日常运维操作，带您理解并熟练运用GaussDB运维平台完成运维工作。输入实例节点任意一个管理IP地址，点击检查实例节点，检查主机是否已经录入主机管理，主机状态在线则已经录入允许导入，主机状态离线则未录入，无法执行导入。确认“实例扩容过程中会有锁表操作，可能会阻塞业务，属于高危操作。可以通过灾备升主，将容灾备实例提升为一个包含主DN的实例，使其可以对外提供服务，升主成功后，之前的容灾关系将失效。

2024-10-29 11:37:25 560

原创 GaussDB基于智能化（AI）技术，打造AI4DB和DB4AI两大技术高地，重构数据库内核核心组件，提升数据库管理和优化技术，满足数据库科学家对普惠AI的诉求

其中自治运维系统提供用户和DBA进行数据库系统的智能化运维管理能力，包括自监控、自诊断、自调优等方面端到端的运维管理能力，主要目标是提升系统的运维诊断效率，让数据库系统更高效和可靠。GaussDB基于智能化（AI）技术，打造AI4DB和DB4AI两大技术高地，重构数据库内核核心组件，提升数据库管理和优化技术，满足数据库科学家对普惠AI的诉求。DB4AI通过数据库使能AI，满足数据科学家在数据治理方面的诉求，仅通过简易SQL调用，即刻完成机器学习算法的训练和推荐，实现人人会AI，人人用AI的普惠应用。

2024-10-29 11:36:51 236

原创 GaussDB安全关键技术一：密态等值查询

当查询任务发起后，客户端需要对当前的Query进行解析，如果查询语句中涉及加密列，则对对应的列参数(加密列关联参数)也要进行加密(这里说的加密均需要为确定性加密，否则无法支持对应的查询)；在客户端解析模块，需要识别所有涉及的属性是否包含加密列信息，如果不涉及则直接返回并将查询发送到服务端，如果涉及加密列，则需要按照对应的列加密密钥和加密算法加密参数信息，然后发送查询任务到服务端。其中在客户端需要设计轻量级的解析模块，完成对查询语句的解析，定义密态等值查询所支持的规格。密态数据库的总体架构示意图如下图所示。

2024-10-29 11:36:17 336

原创 GaussDB 数据导入导出工具介绍

通过DN并行导入导出，解决了CN在分布式常规导入导出的瓶颈问题，极大提升了导入导出的效率。a.sqlldr_tbl是目标表名，truncate表示如果表中有数据，则全部删除后再导入，可选值包括:insert、append、replace、truncate。–gs_copy_summary记录执行结果汇总，包括成功行数，出错行数，忽略行数，空行数。–错误表pgxc_copy_error_log。gs_loader工具是一款兼容Oracle的sqlldr的导入工具，语法基本兼容Oracle的sqlldr。

2024-10-29 11:35:46 696

原创 GaussDB 关键架构目标

高智能：面向云化场景故障运维诉求，基于AI技术，提供端到端自治运维管理能力，全面提升数据库产品服务可靠性和可用性；得益于云数据库的迅猛发展，AWS市场份额超越IBM，成为数据库市场空间第三位，聚焦公有云、混合云构筑具备竞争力的可商用分布式数据库版本，数据库已成为公有云Top收入来源，同时通过数据库服务能够更大地提升公有云服务粘性。高安全：继承可信实施策略中安全可信需求，从安全，韧性，隐私等维度构筑安全可信能力，结合业界安全技术前沿发展，设计全密态数据库和防篡改数据库，保证用户敏感数据免于泄露和篡改；

2024-10-29 11:35:11 260

原创 GaussDB SQL查询语句执行过程解析

在下推算子执行时，会考虑数据本地性，尽可能在本地计算，减少数据在网络中的传输开销。（2）ABO（AI Based Optimization，基于机器学习的查询优化）：通过对历史经验的不断学习，ABO将目标场景的模式进行抽象化，形成动态的模型，自适应地针对用户的实际场景进行优化，从而获得最优的执行计划。物化算子一般指算法要求，在做算子逻辑处理的时候，要求把下层的数据进行缓存处理，因为对于下层算子返回的数据量不可提前预知，因此需要在算法上考虑数据无法全部放置到内存的情况，例如 Agg、Sort。

2024-10-29 11:34:22 845

原创 GaussDB OM运维管理关键技术方案

通过OM Adaptor和OM Agent 采用适配器模式设计，对管控面提供了统一的北向接口。华为云Console调用云管控服务，云管控服务根据用户输入的运维操作，如购买实例，进行相应的操作，如购买实例，云管控服务会创建虚拟机。用户登录华为云Console，访问GaussDB Kernel V5的管控页面，输入想要的运维操作（购买实例）。Adapter会调用OM Agent。OM Agent会调用OM来完成具体的运维操作。云管控服务调用Mgr Agent，Mgr Agent会调用内置插件Adapter。

2024-10-29 11:33:42 96

原创 GaussDB多租组件

弹性型的资源类型由可变的节点个数和每个节点上可变的资源大小组成，分别表述为租户节点个数最小值和租户节点个数最大值、租户节点资源最小值和租户节点资源最大值。对于集群资源调度，多个计算节点上的资源组成一个大的资源池，集群资源调度负责整个资源池的管理和调度，比如租户数据库服务初始化部署时一次调度分配资源，以及租户数据库服务迁移的二次调度分配资源。租户购买的资源类型可以是固定型和弹性型。云原生数据库支持多租户，通过多租户资源共享，一是降低租户的成本，二是通过共享资源的池化实现租户的资源弹性，提高租户业务的可用性。

2024-10-29 09:12:25 209

原创 GaussDB之SQL Audit，面向应用开发的SQL审核工具

为了解决从源代码中无法获取全部SQL的问题，我们开发了基于流量抓取的SQL审核能力，它能极大提升对SQL获取的完整度。SQL解析的过程就是将SQL语句按照语法规则解析成语法树的过程，一般的解析过程分为词法解析和语法解析，然后生成语法树，大部分对SQL语句分析的工具都是直接遍历语法树实现的，SQL Audit工具没有直接解析语法树，而是增加了一个处理过程，将语法树解析成Java描述类，后面所有的审核规则都是基于这个语法描述类进行，这样大大提高对审核规则的开发效率，同时降低了开发难度。这一系列的问题都会产生。

2024-10-28 15:33:12 358

原创 GaussDB数据库SQL系列-层次递归查询

对于每个连接的行，它们的层级是父级的层级加1，并且它们的路径是父级的路径加上逗号和它们自己的行政区。在递归查询中，查询会反复地递归进入到一个子查询中，直到查询得到满足条件的结果或遍历完整个查询范围。参数：col为在路径中显示的列名，支持类型为CHAR/VARCHAR/NVARCHAR2/TEXT的列，参数separator为路径节点之间的分隔符。在一些复杂的查询场景中，递归查询能够更快地得到结果。同样的，在使用GaussDB等数据库时，只要正确合理的应用递归查询，就可以更好地提高查询效率和应用性能。

2024-10-28 15:32:36 899

原创 GaussDB数据库SQL系列-UNION & UNION ALL

另外，执行去重会消耗大量的时间，因此，在一些实际应用场景中，如果通过业务逻辑已确认了两个集合不存在重重复数据时，可直接用UNION ALL 替代UNION，以便提升性能。而在SQL中，UNION是一个非常强大的功能，它可以将多个SELECT语句的结果合并成一个结果集。在一些业务场景下，比如上游系统提供的两张表或者多张表之间互相不会存重复数据，且自身也不存在重复数据，则为了提升合并时SQL性能、减少SQL执行时间,则选择UNION ALL操作符。解决思路：根据提示查看两个表的表结构，看字段数量是否一支。

2024-10-28 15:32:08 890

原创 GaussDB数据库SQL系列-SQL与ETL浅谈

当然了，现在好多企业都有专门的ETL工具，但其实后台都是通过类似“PYTHON + SQL”、“PERL + SQL”等方式实现的，其重点在于ETL过程中的SQL处理。内置的数据转换和处理功能：DataArts Studio提供了丰富的内置转换和处理组件，如数据清洗、数据格式转换、数据合并、数据计算等。ETL是数据集成的一部分，用于将分散的、不一致的数据整合到一起，然后通过统一的接口将数据传输到目标系统库进行分析和应用。在ETL过程中，加载是将转换后的数据加载到目标系统中，通常是数据仓库或数据集市。

2024-10-28 15:29:36 466

原创 GaussDB技术解读系列：运维自动驾驶探索

数据库的可观测能力对于数据库的运维十分重要，GaussDB全链路监控具备从硬件、OS、DB等分层监控，构建从采集、发送、展示、分析到巡检等全链路能力，并且打通了硬件到操作系统，到数据库整个监控链的通道。所谓全局快慢车道，就是定义两个资源池，一个是正常资源池，我们称为快车道，快车道提供大量的资源，正常业务在快车道运行，如果出现交通事故，这里的交通事故就是指异常的SQL业务，我们可以通过页面一键将异常SQL放到慢车道中，慢车道限制了对资源的使用，这样交通事故处理完了，快车道可以继续保持高速运行。

2024-10-28 15:28:53 897

原创 GaussDB数据库SQL系列-自定义函数

https://support.huaweicloud.com/intl/zh-cn/gaussdb/index.html

2024-10-28 09:21:30 380

原创 GaussDB数据库SQL系列-游标管理

在隐式游标的工作区中，所存放的数据是最新处理的一条SQL语句所包含的数据，与用户自定义的显式游标无关。第六步，关闭游标：当提取和处理完游标结果集合数据后，应及时关闭游标，以释放该游标所占用的系统资源，并使该游标的工作区变成无效，不能再使用FETCH语句获取其中数据。隐式游标：对于非查询语句，如修改、删除操作，则由系统自动地为这些操作设置游标并创建其工作区，这些由系统隐含创建的游标称为隐式游标，隐式游标的名称为SQL，这是由系统定义的。第三步，提取游标数据：检索结果集合中的数据行，放入指定的输出变量中。

2024-10-28 09:20:45 679

原创 GaussDB数据库SQL系列-定义重载函数

在GaussDB数据库中，函数重载是一个重要特性，允许我们在同一个数据库中定义多个同名函数，根据参数的不同来调用不同的函数。需要注意的是，在数据库中实现自定义重载函数并不是一件必须的事情，因为数据库系统通常已经提供了丰富的内置函数和操作符，能够满足大部分数据处理需求。函数重载是一种允许在同一个数据库中定义多个同名函数的特性。这些同名函数在参数类型、数量或顺序上有所不同，因此可以根据传入的参数的不同来调用不同的函数。使用函数重载，我们可以根据具体情况选择不同的函数来实现不同的功能，使代码更加简洁和可读。

2024-10-28 09:20:07 334

原创 GaussDB技术解读系列：性能调优

数据库性能优化充满复杂性和挑战性，既有主观的成分，也有复杂的一面。对于数据库系统的性能影响是多方面的，不管是硬件规格、操作系统配置、数据库系统的设计、应用和客户端的连接方式，都会对业务最终的性能表现产生很大的影响，所以数据库的性能表现本质上是整体计算机系统软硬件协调的结果。第一个是应用升级后引起了性能剧烈波动，我们先观察一下实例整体执行的时间，看看在哪一步消耗的比重最高，通过归一化视图观察单个SQL，看每一步的执行消耗，发现是在网络发送部分引起的，我们把应用侧进行替换，应用程序更新后这个问题就解决了。

2024-10-28 09:19:29 441

原创 GaussDB技术解读系列：数据库迁移创新实践

数据库的选型除了要看数据库本身的能力外，能否很平滑地从其他数据库迁移到GaussDB，也是很多企业考量的关键因素。SQL审核大家更为熟悉，很多大的企业都会进行探索和实践，但对于GaussDB来说，由于是纯自主创新的分布式数据库，很多企业的开发人员和DBA还不熟悉GaussDB的SQL语法，也没有制定较为完善的SQL编程规范，很多第三方SQL审核工具也没有针对GaussDB的审核能力，这种情况下，我们结合UGO成熟的SQL解析器，以及多个项目中的SQL调优实践，孵化出了GaussDB数据库的SQL审核能力。

2024-10-28 09:18:53 340

原创 GaussDB技术解读系列：高安全之密态等值

比如在使用的时候输入一个SQL语句，加密驱动会找到哪个字段需要加密，然后用一个密钥把它自动加密，这样加密完后整个流程都是密文的，整个数据库跑的数据、以及跑完之后的结果都是密文数据，不论什么时候把数据拿走，拿走的也都是密文的，因为在整个数据库里面没有任何解密的过程。而之前的传统方案，是强制在应用层加密，加密完成后存到数据库，用数据的时候，先把数据查询出来之后做解密再使用，数据库做不了任何事情，这种方案加密时间长，性能损耗大，密钥需要自管，所以上了全密态。在这种新形势下，数据库的安全也面临很大的威胁。

2024-10-28 09:10:47 313

原创 GaussDB SQL基础语法示例-循环语句

SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。本系列将以《云数据库GaussDB—SQL参考》为主线进行介绍。

2024-10-28 09:10:13 327

原创 GaussDB SQL基础语法示例-数组表达式

SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。欢迎使用GaussDB数据库数组表达式。在本文中，我们将介绍GaussDB数据库中数组表达式的概念、语法和用法。GaussDB是一种高性能、高可扩展的分布式数据库，广泛应用于各种业务场景。数组表达式是GaussDB数据库中的一种强大功能，它允许用户在数据库查询中使用数组操作符和函数来处理数组类型的数据。

2024-10-28 09:09:40 422

原创 GaussDB SQL基础语法示例-常见的条件表达式

SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。本系列将以《云数据库GaussDB—SQL参考》为主线进行介绍。

2024-10-28 09:08:47 417

原创 GaussDB SQL基础语法示例-BOOLEAN表达式

SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持的SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。本系列将以《云数据库GaussDB—SQL参考》为主线进行介绍。1、概念在GaussDB数据库中，BOOLEAN表达式是一种很常见的表达式类型，它用于比较两个条件，来确定其是否为真或假。BOOLEAN表达式可以用于条件判断或在循环语句中作为终止条件。其语法非常简单，只需要使用逻辑运算符对两个条件进行比较。

2024-10-28 09:08:09 786

原创 GaussDB技术解读系列：HTAP方向的探索与发展

这个架构的问题是，它的数据新鲜度不够好，比如说先前在互联网应用方面，我们经常做一些个性化的用户推荐，在给用户推荐感兴趣的商品时，会在登录时对它进行一个用户画像，根据用户画像的结果推荐产品，这是一种实时分析的能力。它之所以成为关键的原因是因为增加了客户的易用性，提升了HTAP产品的商用价值。目前，GaussDB既有基于同Server的实时的HTAP，也有基于主备技术的准实时的HTAP，同时在透明路由的加持下，能够准确的把业务分流同步分到实时的HTAP上，达成在性能、资源隔离、数据新鲜度方面有一个均衡的结果。

2024-09-29 11:24:51 648

原创 GaussDB SQL基础语法示例-GOTO语句

SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。GOTO 语句是直观基本的控制流语句，会导致控制流发生无条件更改。它用于分流至使用 SQL 过程中定义的标签的特定用户定义位置。使用 GOTO 语句通常被视为缺乏编程技巧，并且不推荐这样做。大量使用 GOTO 会导致代码可读性不好，特别是在过程变长时。

2024-09-29 11:23:41 298

原创 GaussDB SQL基础语法-变量&常量

SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持SQL标准（默认支持SQL2、SQL3和SQL4的主要特性）。本系列将以《云数据库GaussDB—SQL参考》在线文档为主线进行介绍。数据库中的变量和常量是两种重要的数据使用类型。变量是可以变化和被修改的，而常量则是固定不变，不能被修改的。1、变量定义在GaussDB中，变量是用于存储可变值的数据类型。变量通常在程序中定义，并在执行期间可以更改其值。其中，variable_name 是变量的名称，data_type 是变量的数据类型。

2024-09-29 11:22:50 859

原创 GaussDB SQL基本语法示例-CASE表达式

另外，如果没有取值为TRUE的input_expression = when_expression，则当指定ELSE子句时，DLI将返回else_result_expression；当没有指定ELSE子句时，返回NULL值。说明：其中，input_expression表示需要比较的表达式，when_expression等表示需要比较的值，result_expression等表示各个值相等时的结果，else_result_expression表示当input_expression不等于任何值时的默认结果。

2024-09-29 11:22:30 818

空空如也

空空如也