自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(139)
  • 收藏
  • 关注

原创 GaussDB 24.1.30 分布式3节点命令行方式部署(2)

修改 安装脚本中的install_cluster.conf 配置文件 install_cluster.conf 配置文件参数说明 注意:密码中不能用连续的数字。GaussDB 数据库使用 adaptor接口方式的安装,在adaptor、om-agent安装完成后,会调用 adaptor接口来执行实例的预安装和安装。举例:需要把cn_dir路径配置到/data/cn路径下配置修改格式:cn dir=/data/cn。查看pkgDir目录下的安装包 注意:此处注意清理掉其他所有文件,仅仅保留以下的几个文件。

2025-01-26 14:27:58 600

原创 GaussDB 24.1.30 分布式3节点命令行方式部署(1)

root@node01 pkg]# ls -l Gau*-rw-r–r-- 1 root root 32392827 4月 18 23:49 GaussDB-Kernel_505.1.0.B026_Om_X86_Distributed.tar.gz-rw-r–r-- 1 root root 861349604 4月 18 23:49 GaussDB-Kernel_505.1.0.B026_Server_X86_Distributed.tar.gz。

2025-01-26 14:27:26 601

原创 智能优化揭秘——GaussDB数据库查询重写的自动挖掘与生成

但是有了WeTune以后,开发者只要按照形式化语言去描述重写规则,然后WeTune拿去做验证,证明该规则在约束下是等价的,就可以放心地将该重写规则添加到GaussDB中,节约验证时间,对GaussDB的开发等流程非常有帮助。查询改写是数据库SQL优化过程中非常重要的部分,在语义不变的情况下,它可以把一条普通的或者性能不好的SQL语句优化成一条性能更好的SQL语句,实现查询效率的提升。但是,改写规则非常多的时候,会导致改写和规则匹配的时间非常长,导致资源的极大浪费,也会影响用户体验。

2025-01-26 14:26:39 605

原创 数据库自治运维技术领域,GaussDB也有大作为

在数据库自治运维技术领域,主要分为两条技术路线。GaussDB基于机器学习技术和云上海量数据信息,构建领先的自治运维管理系统,通过成熟算法实现负载感知、环境感知和数据感知,为数据库提供自监控、自诊断、自调优、自安全的能力,为客户和DBA提供极佳的运维管理体验。其中数据存储用于接收来自数据采集层发生来的数据,存储数据源可以是多种维度或者类型,包括普罗米修斯、时序数据库(OpenTSDB等)、MongoDB、SQLite等,自治运维服务内置对接接口,每个自治服务模块与存储数据源的交互,获取数据并进行分析处理。

2025-01-26 14:26:08 857

原创 数据库模型设计案例分享(GaussDB版)1

其中数据库设计(Database Design)是E-R设计模型中的主要环节。第二步:数据库设计:主要包括概念结构设计、逻辑结构设计、物理结构设计等。第三步:数据库实施:选择数据库软件,并进行落地。第一步:需求分析:主要包括数据、功能、性能等。第四步:数据库系统运行、维护和优化。应用系统数据库设计的基本流程。

2025-01-26 14:25:34 222

原创 如何使用云数据库GaussDB管理平台进行实例安装?

有关Raid的配置方法请参考硬件厂家的手册或互联网上的方法进行配置,其中 Disk Cache Policy一项需要设置为Disabled,否则机器异常掉电后 有数据丢失的风险GaussDB支持使用SSD盘作为数据库的主存储设备,支持SAS接口和NVME协议的SSD盘,以RAID的方式部署使用。预安装的目的是在实例安装前完成实例的环境配置,以保证实例安装的正常进行,预安装的 adaptor 接名称为 pre install,预安装需要在待安装实例的所有节点上以实例用户身份来执行。

2025-01-26 14:24:59 818

原创 GaussDB数据库中逻辑对象关系简析

用户是数据库中的实体,用于标识和管理数据库中的各种操作权限和资源使用权限。初次接触openGauss或GaussDB数据库的逻辑对象,被其中的表空间、数据库、schema和用户之间的关系,以及授权管理困惑住了,与熟悉的MySQL数据库的逻辑对象又有明显的不同。因此,在逻辑结构上MySQL系的数据库中的数据库实例与GaussDB数据库中的database相当,一个数据库中可以创建多个database或schema,每个database中又可以创建不同的表,不同database间共享系统表空间和资源。

2025-01-26 14:24:15 978

原创 GaussDB数据库基础函数介绍2

在GaussDB数据库中,数字操作函数是指用于执行数字操作的函数,例如加减乘除、取余、幂运算等。这些函数通常在数学、计算机科学和工程学等领域中使用,用于处理数字数据和执行数字操作。二、GaussDB常用基础函数介绍与示例。

2025-01-26 14:23:44 270

原创 GaussDB数据库基础函数介绍1

本文主要从:数字操作函数、时间和日期处理函数、类型转换函数、数组函数、范围函数、窗口函数、聚集函数、安全函数、系统信息函数、动态脱敏函数等方面作一个简单介绍。在数据库中,函数的作用非常重要,因为它们可以实现数据的复杂操作,如查询、更新、删除和排序等。支持算法设计的基本要求:函数可以用于实现算法设计的基本要求,如正确性、可读性、健壮性、效率和低存储量需求。实现数据的复杂操作:函数可以用于实现数据的复杂操作,如查询、更新、删除和排序等,从而提高了数据库的操作效率。一、函数在数据库中的作用。

2025-01-26 14:23:04 303

原创 GaussDB数据计算路由层(Coordinator)关键技术方案

GaussDB Kernel V5版本的Catalog还是本地存储, 所以还需要考虑catalog的持久化问题.未来演进元数据解耦,Coordinator 无状态, 就不需要考虑Catalog持久化问题了。但是跨节点场景下的事务提交在Coordinator上还是要持久化的。图14 Coordinator模块图路由信息:每个表数据共分16384个hash bucket来存储,每个DN对应存储若干个hash bucket的数据。SQL优化器模块会根据Query的条件自动剪枝DN。Pooler连接池:维护和每个D

2025-01-26 14:22:32 511

原创 GaussDB全局事务管理层(GTM)关键技术方案

不是每次都写ETCD, 而是采用定期持久化到ETCD 里, 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障,CSN从ETCD读取出来的值保证单调递增。(1.5 PC)DN 上行级别可见性判断:DN处于prepared状态的事务依赖对应CN上的事务是否提交,如果已经提交,且CSN比snapshot.CSN小,就可见对DN上处于prepared的事务,CN上的事务不处于提交状态,则必须判断是否残留状态,回滚。图3 跨节点事务处理流程。5.1 单节点的事务。

2025-01-26 14:22:01 295

原创 GaussDB集群管理层(CM)关键技术方案

接收并处理 CM Agent 上报的实例状态,下发仲裁指令保证各类故障和异常场景下集群的可用性对应 cm_server 二进制文件,常驻服务CM与各类组件的主备数据同步、倒换、重建等机制高度融合,提供告警、重启、倒换、隔离等手段,赋予数据库实例故障恢复及自愈的高可用(HA)能力,保证数据的可靠性和完整性,最终实现集群对外的业务连续性。DN 故障单点故障可自动恢复主 DN 故障时,仲裁备 DN 升主继续提供服务备 DN 故障时,主 DN 将日志和数据同步至从备,业务不受影响。2) 同等条件下,静态主优先。

2025-01-26 14:21:08 783

原创 GaussDB数据库中逻辑对象关系简析

总结GaussDB数据库的逻辑对象之间的关系,如下图所示:在逻辑层面,GaussDB数据库以不同的database进行逻辑上的区分,一个数据库实例中可以定义多个database,database内可以定义不同的schema、schema内又包含不同的数据库对象。在物理存储层面,表空间对应的是实际的数据存储目录,同一个database可以使用不同的表空间、同一个表空间又可以被不同的database使用。不过在实际使用过程中建议使用默认的表空间。

2025-01-26 14:20:28 672

原创 GaussDB数据库的备份与恢复

支持导出的数据库可以是默认数据库postgres,也可以是自定义数据库。例如,T1时刻启动gs_dump导出A数据库,那么导出数据结果将会是T1时刻A数据库的数据状态,T1时刻之后对A数据库的修改不会被导出。gs_dump是一款用于导出数据库相关信息的工具,支持导出完整一致的数据库对象(数据库、模式、表、视图等)数据,同时不影响用户对数据库的正常访问。数据库级备份前,请执行如下命令检查数据库运行状态,cluster_state为Normal时表示数据库正常运行,可以备份数据库。balanced:平衡状态。

2025-01-26 14:19:52 652

原创 GaussDB数据库SQL系列-复合查询

复合查询是SQL查询的一个高级特性,它允许用户通过结合多个简单查询来执行更复杂的数据检索操作。通过探索复合查询,包括使用UNION、INTERSECT、EXCEPT以及高级技巧如子查询和各类JOIN操作,我们可以看到GaussDB在处理复杂数据查询方面的强大能力。掌握这些高级查询技能对于进行深入的数据分析至关重要,能够显著提升在GaussDB中进行数据处理和分析的效率和准确性。复合查询是SQL中一种强大的工具,用于结合多个独立查询结果以形成一个单一的查询结果。INTERSECT:返回两个查询共有的记录。

2025-01-26 14:19:07 715

原创 GaussDB轻量化运维管理工具介绍

本期课程将从管理平台的架构出发,结合平台的实例管理、实例升级、容灾管理和监控告警的功能和操作介绍,全面覆盖日常运维操作,带您理解并熟练运用GaussDB运维平台完成运维工作。输入实例节点任意一个管理IP地址,点击检查实例节点,检查主机是否已经录入主机管理,主机状态在线则已经录入允许导入,主机状态离线则未录入,无法执行导入。确认“实例扩容过程中会有锁表操作,可能会阻塞业务,属于高危操作。可以通过灾备升主,将容灾备实例提升为一个包含主DN的实例,使其可以对外提供服务,升主成功后,之前的容灾关系将失效。

2024-12-30 09:41:00 972

原创 GaussDB基于智能化(AI)技术,打造AI4DB和DB4AI两大技术高地,重构数据库内核核心组件,提升数据库管理和优化技术,满足数据库科学家对普惠AI的诉求

其中自治运维系统提供用户和DBA进行数据库系统的智能化运维管理能力,包括自监控、自诊断、自调优等方面端到端的运维管理能力,主要目标是提升系统的运维诊断效率,让数据库系统更高效和可靠。GaussDB基于智能化(AI)技术,打造AI4DB和DB4AI两大技术高地,重构数据库内核核心组件,提升数据库管理和优化技术,满足数据库科学家对普惠AI的诉求。DB4AI通过数据库使能AI,满足数据科学家在数据治理方面的诉求,仅通过简易SQL调用,即刻完成机器学习算法的训练和推荐,实现人人会AI,人人用AI的普惠应用。

2024-12-30 09:38:29 426

原创 GaussDB安全关键技术一:密态等值查询

当查询任务发起后,客户端需要对当前的Query进行解析,如果查询语句中涉及加密列,则对对应的列参数(加密列关联参数)也要进行加密(这里说的加密均需要为确定性加密,否则无法支持对应的查询);在客户端解析模块,需要识别所有涉及的属性是否包含加密列信息,如果不涉及则直接返回并将查询发送到服务端,如果涉及加密列,则需要按照对应的列加密密钥和加密算法加密参数信息,然后发送查询任务到服务端。其中在客户端需要设计轻量级的解析模块,完成对查询语句的解析,定义密态等值查询所支持的规格。密态数据库的总体架构示意图如下图所示。

2024-12-30 09:37:49 670

原创 GaussDB 数据导入导出工具介绍

通过DN并行导入导出,解决了CN在分布式常规导入导出的瓶颈问题,极大提升了导入导出的效率。a.sqlldr_tbl是目标表名,truncate表示如果表中有数据,则全部删除后再导入,可选值包括:insert、append、replace、truncate。–gs_copy_summary记录执行结果汇总,包括成功行数,出错行数,忽略行数,空行数。–错误表pgxc_copy_error_log。gs_loader工具是一款兼容Oracle的sqlldr的导入工具,语法基本兼容Oracle的sqlldr。

2024-12-30 09:36:52 1033

原创 GaussDB 关键架构目标

高智能:面向云化场景故障运维诉求,基于AI技术,提供端到端自治运维管理能力,全面提升数据库产品服务可靠性和可用性;得益于云数据库的迅猛发展,AWS市场份额超越IBM,成为数据库市场空间第三位,聚焦公有云、混合云构筑具备竞争力的可商用分布式数据库版本,数据库已成为公有云Top收入来源,同时通过数据库服务能够更大地提升公有云服务粘性。高安全:继承可信实施策略中安全可信需求,从安全,韧性,隐私等维度构筑安全可信能力,结合业界安全技术前沿发展,设计全密态数据库和防篡改数据库,保证用户敏感数据免于泄露和篡改;

2024-12-30 09:36:05 938

原创 GaussDB SQL查询语句执行过程解析

在下推算子执行时,会考虑数据本地性,尽可能在本地计算,减少数据在网络中的传输开销。(2)ABO(AI Based Optimization,基于机器学习的查询优化):通过对历史经验的不断学习,ABO将目标场景的模式进行抽象化,形成动态的模型,自适应地针对用户的实际场景进行优化,从而获得最优的执行计划。物化算子一般指算法要求,在做算子逻辑处理的时候,要求把下层 的数据进行缓存处理,因为对于下层算子返回的数据量不可提前预 知,因此需要在算法上考虑数据无法全部放置到内存的情况,例如 Agg、Sort。

2024-12-30 09:35:29 843

原创 GaussDB OM运维管理关键技术方案

通过OM Adaptor和OM Agent 采用适配器模式设计,对管控面提供了统一的北向接口。华为云Console调用云管控服务,云管控服务根据用户输入的运维操作,如购买实例,进行相应的操作,如购买实例,云管控服务会创建虚拟机。用户登录华为云Console,访问GaussDB Kernel V5的管控页面,输入想要的运维操作(购买实例)。Adapter会调用OM Agent。OM Agent会调用OM来完成具体的运维操作。云管控服务调用Mgr Agent,Mgr Agent会调用内置插件Adapter。

2024-12-30 09:34:29 160

原创 智能优化揭秘——GaussDB数据库查询重写的自动挖掘与生成

但是有了WeTune以后,开发者只要按照形式化语言去描述重写规则,然后WeTune拿去做验证,证明该规则在约束下是等价的,就可以放心地将该重写规则添加到GaussDB中,节约验证时间,对GaussDB的开发等流程非常有帮助。查询改写是数据库SQL优化过程中非常重要的部分,在语义不变的情况下,它可以把一条普通的或者性能不好的SQL语句优化成一条性能更好的SQL语句,实现查询效率的提升。但是,改写规则非常多的时候,会导致改写和规则匹配的时间非常长,导致资源的极大浪费,也会影响用户体验。

2024-12-30 09:33:46 751

原创 为什么MySQL单表不能超过2000万行? (1)

它的叶子节点存储索引键以及对应的行指针(所在的页面编号及页内偏移),堆组织表叶子节点可以存更多的数据,分析可得在同样的数据量与业务并发量下,堆组织表会比索引组织表发生SMO概率低许多。在对叶子节点的修改操作中,InnoDB可以实现较好的1与1、1与2的并发,但是无法解决2的并发。如下图所示,在节点2分裂为节点2和4的过程中,只需要在最后一步将父节点1指向新节点4时,对父节点1加锁,其他操作均无需对父节点加锁,更无需对root节点加锁,因此,大大提升了SMO过程中写操作的并发度。

2024-12-30 09:33:05 856

原创 数据库技术解读之细粒度资源管控

基于此,考虑IO管控功能采用逻辑IO统计方式,对用户或者会话的读写IO进行管控限制,在工作线程和共享缓存之间增加了逻辑IO计数,对于行存表来说每6000(可通过io_control_unit GUC进行修改)行算做一次IO,当一秒产生的读写IO请求数超过资源池设置的阈值时,则将该IO请求加入到后台线程的一个等待队列里,后台线程将对等待队列里的这些IO请求进行监控,当其等待时间符合条件时,将这些IO请求从等待队列中唤醒。用户可以创建一个资源池并指定其可以使用的CPU、内存与IO的份额,并把资源池与用户绑定。

2024-12-30 09:32:08 679

原创 利用GaussDB的可观测性能力构建故障模型

分布式数据库的运维工具开发起来比较麻烦,在前面的开发过程中我们也遇到了很多问题,比如DN节点的切换后,系统能否立即无缝跟踪到这个变化,如果复制组中存在硬件配置上的不同,可能会影响模型的评估,如何能够在每隔2-3分钟的评估中避开数据错误,这些都在不断的完善中。而故障模型的构建依赖于强大的可观测能力,以及将数据库状态指标化的能力,再辅以专家的经验才能完成。故障模型告警和诊断工具依然沿用D-SMART传统的模式,目前工具的开发还在持续进行中,不过基于运维知识图谱的通用分析工具已经是可用的了。

2024-12-27 14:29:50 631

原创 LLVM技术在GaussDB等数据库中的应用

万物互联的态势下,数据量的激增使得“如何提升数据处理性能”成为各家数据库共同面临的挑战。作为编译优化技术的代表,基于LLVM的CodeGen技术,能为每个查询生成定制的机器码替代原本的通用函数,减少实际查询时冗余的条件逻辑判断、虚函数调用并提高数据局域性,从而达到提升查询整体性能的目的,成为数据库性能优化的一项重要技术。LLVM能在分析类场景中给用户带来较大的收益,也能在特定的交易性场景中给用户带来一定的收益。接下来详细解读一下LLVM技术在GaussDB等数据库中的应用吧。

2024-12-27 14:26:34 797

原创 GaussDB数据库事务管理

并发控制与锁是数据库系统中重要的概念,用于管理多个事务对数据库同时进行读写的情况,以确保数据的一致性和事务的隔离性。在READ COMMITTED隔离级别下,事务只能读取已经提交的其他事务的数据,避免了脏读(读取到未提交的数据),但可能出现不可重复读和幻读的情况。保存点是事务中的一个标记,可以在事务执行的过程中创建。在事务中,通过ROLLBACK可以撤销当前事务的所有修改,而COMMIT则提交当前事务的所有修改。隔离性(Isolation):并发执行的事务之间相互隔离,一个事务的执行不受其他事务的影响。

2024-12-27 14:25:50 630

原创 GaussDB火焰图分析

CPU利用率是衡量系统负载和健康度的重要指标之一,系统在运行过程中时常发生CPU利用率高的情况。在分析性能问题时,可通过火焰图查看CPU耗时,了解瓶颈在哪里。

2024-12-27 14:25:01 795

原创 GaussDB的行存表与列存表的选择

行、列存储模型各有优劣,在实际应用中,我们需要根据具体的需求选择合适的存储方式,以实现高效的数据管理和分析。因此,行存表和列存表在硬盘上的存储方式也不同。对于行存表,每个记录都占用一个连续的空间块,而对于列存表,每个属性都有一个单独的空间块,所有属性值都存储在一个连续的空间块中。在基于列式存储的数据库中,数据是按照列数据为基础逻辑存储单元进行存储的,一列中的数据在存储介质中以连续存储形式存在。在基于行存储的数据库中,数据是按照行数据为基础逻辑存储单元进行存储的,一行中的数据在存储介质中以连续存储形式存在。

2024-12-27 14:24:06 456

原创 GaussDB WDR报告分析

CPU使用率高。

2024-12-27 14:20:37 939

原创 GaussDB OLTP 云数据库配套工具DAS

数据管理服务(Data Admin Service,简称DAS),是一种提供数据库可视化操作的工具,包括基础SQL操作、高级数据库管理、智能化运维等功能,旨在帮助用户易用、安全、智能的进行数据库管理(连上网络、打开浏览器,即可随时随地、方便快捷的使用DAS),大幅提高工作效率,让数据管理变得既简单又安全。面向开发人员,最好用的数据库客户端,无需安装本地客户端,所见即所得的可视化提作体验,提供数据和表结构的同步、在线编辑,SQL输入的智能提示等丰富的数据库开发功能。数据操作:快速、自动化的填充表的测试数据;

2024-12-27 14:19:44 945

原创 GaussDB之SQL Audit,面向应用开发的SQL审核工具

为了解决从源代码中无法获取全部SQL的问题,我们开发了基于流量抓取的SQL审核能力,它能极大提升对SQL获取的完整度。SQL解析的过程就是将SQL语句按照语法规则解析成语法树的过程,一般的解析过程分为词法解析和语法解析,然后生成语法树,大部分对SQL语句分析的工具都是直接遍历语法树实现的,SQL Audit工具没有直接解析语法树,而是增加了一个处理过程,将语法树解析成Java描述类,后面所有的审核规则都是基于这个语法描述类进行,这样大大提高对审核规则的开发效率,同时降低了开发难度。这一系列的问题都会产生。

2024-12-27 09:56:50 789

原创 GaussDB数据库的元数据及其管理简介

元数据管理从技术角度,元数据管理着企业的数据源系统、数据平台、数据仓库、数据模型、数据库、表、字段以及字段间的数据关系等技术元数据。数据库的元数据指的是关于数据库对象(如表、列、索引、视图、存储过程等)的信息,这些信息描述了这些对象的结构和属性。GaussDB数据库元数据的获取/采集主要是以系统表、视图、函数等方式获取,其元数据不止包含TABLES、VIEWS、COLUMNS、SOURCE、JOB,还包括USERS、COMMENTS等。主要字段:表的所有者、表的名称、列名、列的数据类型、列的字节长度等。

2024-12-27 09:56:07 894

原创 GaussDB数据库SQL系列-数据去重

数据去重涉及到的面非常广,包括重复数据的发现、去重规则的定义、去重的方法与效率、去重的困难与挑战等等。但是,去重原则只有一个,那就是以业务为导向。例如优先将含有手机号的记录行进行补齐,需要补齐的字段有“是否有车、是否有房、婚姻状况”,其取值是来源为“车险”的对应记录。前置过滤:采用前置过滤的方式,先对数据集进行一些简单的筛选和处理,如去除空值、去除无效字符等,可以减少比较次数,从而提高去重效率。优化数据存储结构:采用合适的数据存储结构,如哈希表、B+树等,可以加快数据的查找和比较速度,从而提高去重效率。

2024-12-27 09:53:48 839

原创 GaussDB数据库SQL系列-层次递归查询

对于每个连接的行,它们的层级是父级的层级加1,并且它们的路径是父级的路径加上逗号和它们自己的行政区。在递归查询中,查询会反复地递归进入到一个子查询中,直到查询得到满足条件的结果或遍历完整个查询范围。参数:col为在路径中显示的列名,支持类型为CHAR/VARCHAR/NVARCHAR2/TEXT的列,参数separator为路径节点之间的分隔符。在一些复杂的查询场景中,递归查询能够更快地得到结果。同样的, 在使用GaussDB等数据库时,只要正确合理的应用递归查询,就可以更好地提高查询效率和应用性能。

2024-12-27 09:48:48 841

原创 GaussDB数据库SQL系列-表连接(JOIN)

数据库表连接(Join)是将两个或多个表中的数据根据一定的条件进行组合,在实际应用中,数据库表连接可以帮助我们快速地获取所需的数据信息,提高数据处理效率。在GaussDB数据库中,常用的JOIN有如下几种连接及用法:INNER JOIN、LEFT JOIN、RIGHT JOIN、 FULL JOIN、CROSS JOIN。SQL是用于数据分析和数据处理的最重要的编程语言之一,表连接(JOIN)是数据库中SQL的一种常见操作,在实际应用中,我们需要根据业务需求从两个或多个相关的表中获取信息。

2024-12-27 09:48:00 902

原创 GaussDB数据库SQL系列-UNION & UNION ALL

另外,执行去重会消耗大量的时间,因此,在一些实际应用场景中,如果通过业务逻辑已确认了两个集合不存在重重复数据时,可直接用UNION ALL 替代UNION,以便提升性能。而在SQL中,UNION是一个非常强大的功能,它可以将多个SELECT语句的结果合并成一个结果集。在一些业务场景下,比如上游系统提供的两张表或者多张表之间互相不会存重复数据,且自身也不存在重复数据,则为了提升合并时SQL性能、减少SQL执行时间,则选择UNION ALL操作符。解决思路:根据提示查看两个表的表结构,看字段数量是否一支。

2024-12-27 09:47:05 730

原创 GaussDB数据库SQL系列-SQL与ETL浅谈

当然了,现在好多企业都有专门的ETL工具,但其实后台都是通过类似“PYTHON + SQL”、“PERL + SQL”等方式实现的,其重点在于ETL过程中的SQL处理。内置的数据转换和处理功能:DataArts Studio提供了丰富的内置转换和处理组件,如数据清洗、数据格式转换、数据合并、数据计算等。ETL是数据集成的一部分,用于将分散的、不一致的数据整合到一起,然后通过统一的接口将数据传输到目标系统库进行分析和应用。在ETL过程中,加载是将转换后的数据加载到目标系统中,通常是数据仓库或数据集市。

2024-12-27 09:46:25 815

原创 GaussDB技术解读系列:运维自动驾驶探索

数据库的可观测能力对于数据库的运维十分重要,GaussDB全链路监控具备从硬件、OS、DB等分层监控,构建从采集、发送、展示、分析到巡检等全链路能力,并且打通了硬件到操作系统,到数据库整个监控链的通道。所谓全局快慢车道,就是定义两个资源池,一个是正常资源池,我们称为快车道,快车道提供大量的资源,正常业务在快车道运行,如果出现交通事故,这里的交通事故就是指异常的SQL业务,我们可以通过页面一键将异常SQL放到慢车道中,慢车道限制了对资源的使用,这样交通事故处理完了,快车道可以继续保持高速运行。

2024-12-27 09:15:01 492

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除