自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(212)
  • 收藏
  • 关注

原创 openGauss DBMind部署

DBMind有两种部署方式,分别为手动部署和自动部署,推荐使用自动部署的方式,其会自动将prometheus、node_exporter、opengauss_exporter、cmd_expoter和reprocessing_exporter组件安装到指定的节点。用户可以通过远程部署的方式在主控节点上执行下述命令,从而将opengauss_exporter安装到对应的数据库节点上,opengauss_exporter的默认端口号范围是9187-9197,如果被占用可以使用其他端口。

2024-04-15 17:39:51 881

原创 openGauss DB4AI-Snapshots数据版本管理

数据表快照创建成功后可以像视图一样进行使用,但是一经发布后,数据表快照便固化为不可变的静态数据,如需修改该数据表快照的内容,需要创建一个版本号不同的新数据表快照。其中,“@”为数据表快照的版本分隔符,from子句后加上已存在的数据表快照,用法为“@”+版本号,USING关键字后加入可选的几个操作关键字(INSERT …通过上述例子,我们可以发现,数据表快照可以固化数据表的内容,避免中途对数据的改动造成机器学习模型训练时的不稳定,同时可以避免多用户同时访问、修改同一个表时造成的锁冲突。

2024-04-15 17:38:57 929

原创 openGauss DB4AI-Query-模型训练和推断

openGauss当前版本支持了原生DB4AI能力,通过引入原生AI算子,简化操作流程,充分利用数据库优化器、执行器的优化与执行能力,获得高性能的数据库内模型训练能力。更简化的模型训练与预测流程、更高的性能表现,让开发者在更短时间内能更专注于模型的调优与数据分析上,而避免了碎片化的技术栈与冗余的代码实现。且基于相同的超参数和训练集训练的模型也具有稳定性,同时AI模型训练存在随机成分(每个batch的数据分布、随机梯度下降),所以不同的模型间的计算表现、结果允许存在小的差别。

2024-04-15 17:38:09 813

原创 openGauss component子命令

该子命令可以用于启动DBMind的组件,包括可用于监控指标的exporter,以及AI功能等。该命令可以将用户通过命令行传入的命令转发给对应的子组件,故不同的子组件命令需参考其功能的对应说明,详见后文各个子组件对应章节,此处不再赘述。gs_dbmind component 子命令说明。参考子组件的命令说明。

2024-04-15 17:37:31 112

原创 openGauss Anomaly-detection-异常检测使用指导

在输入anomaly detection的参数时,start-time至少要比end-time早30秒以上。

2024-04-15 17:36:59 98

原创 openGauss Anomaly-detection-异常检测命令参考

显示开始时间的时间戳,单位毫秒;或日期时间格式为 %Y-%m-%d %H:%M:%S.显示开始时间的时间戳,单位毫秒;或日期时间格式为 %Y-%m-%d %H:%M:%S.指定数据来源地址信息,通过地址信息进行过滤。-ip地址或者ip地址加端口号。指定异常检测方式,用于过滤。overview:概览。正整数或日期时间格式。正整数或日期时间格式。

2024-04-15 17:36:25 201

原创 openGauss Anomaly-detection-异常检测获取帮助

【代码】openGauss Anomaly-detection-异常检测获取帮助。

2024-04-15 17:35:52 95

原创 openGauss Anomaly-analysis-使用指导

在输入anomaly_analysis的参数时,start-time至少要比end-time早30秒以上。

2024-04-15 17:35:16 166

原创 openGauss Anomaly-analysis-命令参考

显示开始时间的时间戳,单位毫秒;或日期时间格式为 %Y-%m-%d %H:%M:%S.显示开始时间的时间戳,单位毫秒;或日期时间格式为 %Y-%m-%d %H:%M:%S.指定数据来源地址信息,通过地址信息进行过滤。-ip地址或者ip地址加端口号。结果导出的csv文件路径。正整数或日期时间格式。正整数或日期时间格式。

2024-04-15 17:34:37 161

原创 openGauss Anomaly-analysis-获取帮助

【代码】openGauss Anomaly-analysis-获取帮助。

2024-04-15 17:33:02 88

原创 openGauss AI特性

但是,由于各种各样客观因素的制约,在很长的一段时间内,人工智能技术并没有得到大规模的应用,甚至还经历了几次明显的低谷期。到了近些年,随着信息技术的进一步发展,从前限制人工智能发展的因素已经逐渐减弱,所谓的ABC(AI、Big data、Cloud computing)技术也随之而诞生。)的bin/dbmind目录中,各个子功能存在于dbmind的子目录components中。AI与数据库结合是近些年的行业研究热点,openGauss较早地参与了该领域的探索,并取得了阶段性的成果。

2024-04-15 17:32:30 251

原创 openGauss 支持I层高时延逃生能力

I层异常会导致数据库SQL执行时延升高,进而导致内存或者线程池出现过载问题,针对此场景openGauss支持自动逃生能力。

2024-04-09 10:30:58 269

原创 openGauss 支持HyperLogLog

通过使用HyperLogLog相关函数,计算唯一值个数Count(Distinct),提升性能。

2024-04-09 10:30:25 405

原创 openGauss 支持global-syscache

全局系统缓存(Global SysCache)是系统表数据的全局缓存和本地缓存。原理如图1所示。

2024-04-09 10:29:51 389

原创 openGauss 账本数据库机制

账本数据库特性,对用户指定的防篡改表增加校验信息,并记录用户对其数据的操作历史,通过数据和操作历史的一致性校验来保证用户数据无法被恶意篡改。在用户对防篡改表执行DML操作时,系统对防篡改表增加少量额外的行级校验信息,同时记录操作的SQL语句和数据的变化历史。通过特性提供的校验接口,用户可以方便的校验防篡改表中的数据与系统记录的操作信息是否一致。

2024-04-09 10:29:13 242

原创 openGauss 增量迁移gs_replicate

增量迁移gs_replicate是指将mysql数据迁移期间(包括全量和增量迁移)产生的增量数据迁移至openGauss端。

2024-04-09 10:25:31 242

原创 openGauss 在线添加索引

通过create index concurrently语法,以不阻塞DML的方式在线创建索引。

2024-04-09 10:25:00 377

原创 openGauss 运行环境

openGauss支持运行在ARM服务器和通用的x86服务器上:ARM:X86:

2024-04-09 10:24:27 378

原创 openGauss 用户口令强度校验机制

对用户访问数据库所设置的口令强度进行校验。

2024-04-09 10:23:43 324

原创 openGauss 异步备升主数据找回能力

主机发生异常后,如果仅有异步备可以升主,旧主可能存在已提交的事务未同步到备机,该功能旨在找回这部分数据,通过逻辑解码的方式提供给用户,再由用户自行处理。

2024-04-09 10:23:10 404

原创 openGauss 延时回放

支持备机延时回放。

2024-04-09 10:22:32 279

原创 openGauss 延迟进入最大可用模式

支持主机延迟进入最大可用模式。

2024-04-09 10:21:41 214

原创 openGauss 向量化引擎

openGauss提供向量化引擎,通常用在OLAP数据仓库类系统。主要是因为分析型系统通常是数据处理密集型,基本上都是采用顺序方式来访问表中大部分的数据,然后再进行计算,最后将计算结果输出给用户。

2024-04-09 10:20:03 247

原创 openGauss 主备机

为了保证故障的可恢复,需要将数据写多份,设置主备多个副本,通过日志进行数据同步,可以实现节点故障、停止后重启等情况下,openGauss能够保证故障之前的数据无丢失,满足ACID特性。

2024-04-09 10:18:37 394

原创 openGauss 主备高可用能力增强

针对备机异常的场景,优化主机的业务在最大可用模式下不阻塞,并且表的垃圾回收不受影响。

2024-04-09 10:18:06 349

原创 openGauss 资源标签机制

数据库资源是指数据库所记录的各类对象,包括数据库、模式、表、列、视图、触发器等,数据库对象越多,数据库资源的分类管理就越繁琐。资源标签机制是一种通过对具有某类相同“特征”的数据库资源进行分类标记而实现资源分类管理的一种技术。当管理员对数据库内某些资源“打上”标签后,可以基于该标签进行如审计或数据脱敏的管理操作,从而实现对标签所包含的所有数据库资源进行安全管理。

2024-04-09 10:17:12 356

原创 openGauss 逻辑复制

openGauss提供逻辑解码功能,将物理日志反解析为逻辑日志。通过DRS等逻辑复制工具将逻辑日志转化为SQL语句,到对端数据库回放,达到异构数据库同步数据的功能。目前支持openGauss数据库与MySQL数据库、Oracle数据库之间的单向、双向逻辑复制。

2024-04-07 17:56:10 218

原创 openGauss 逻辑备份

支持将数据库内用户表的数据以通用格式备份到指定的存储介质中。

2024-04-07 17:55:34 234

原创 openGauss 两地三中心跨Region容灾

openGauss 3.1.0支持两地三中心跨Region容灾。

2024-04-07 17:55:01 207

原创 openGauss 系统架构

openGauss是集中式数据库系统,在这样的系统架构中,业务数据存储在单个物理节点上,数据访问任务被推送到服务节点执行,通过服务器的高并发,实现对数据处理的快速响应。管理和监控数据库系统中各个功能单元和物理资源的运行情况,确保整个系统的稳定运行。负责存储业务数据、执行数据查询任务以及向客户端返回执行结果。openGauss实例包含主、备两种类型,支持一主多备。openGauss实例通信,发送应用的SQL命令,接收。openGauss实例分散部署在不同的物理节点中。openGauss实例的执行结果。

2024-04-07 17:54:28 265

原创 openGauss 系统KPI辅助诊断

KPI是内核组件或者整体性能关键指标的视图呈现,基于这些指标,用户可以了解到系统运行的实时或者历史状态。

2024-04-07 17:53:53 253

原创 openGauss 物化视图

物化视图实际上就是一种特殊的物理表,物化视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性较大,任何对视图的查询实际上都是转换为对SQL语句的查询,性能并没有实际上提高。而物化视图实际上就是存储SQL所执行语句的结果,起到缓存的效果。

2024-04-07 17:53:19 272

原创 openGauss 伪列ROWNUM

ROWNUM为查询出来的每一行记录生成一个序号,从1开始依次递增且不会重复。

2024-04-07 17:52:45 203

原创 openGauss 网络通信安全

为保护敏感数据在Internet上传输的安全性,openGauss支持通过SSL加密客户端和服务器之间的通讯。

2024-04-07 17:52:09 151

原创 openGauss 外键锁增强

新增两类行锁,由share和update锁扩展到key share、share、no key update和update。非主键的更新获取的是no key update锁,外键触发器获取的行锁为key share锁,这两种类型的锁互不冲突,以此提升了外键锁的并发性。

2024-04-07 17:51:35 217

原创 openGauss 透明数据加密

透明数据加密(Transparent Data Encryption),是数据库在将数据写入存储介质时对数据进行加密,从存储介质中读取数据时自动解密,防止攻击者绕过数据库认证机制直接读取数据文件中的数据,以解决静态数据泄露问题。该功能对于应用层几乎透明无感知,用户可根据需要决定是否启用透明数据加密功能。

2024-04-07 17:51:04 326

原创 openGauss 统一审计机制

审计机制是行之有效的安全管理方案,可有效解决攻击者抵赖,审计的范围越大,可监控的行为就越多,而产生的审计日志就越多,影响实际审计效率。统一审计机制是一种通过定制化制定审计策略而实现高效安全审计管理的一种技术。当管理员定义审计对象和审计行为后,用户执行的任务如果关联到对应的审计策略,则生成对应的审计行为,并记录审计日志。定制化审计策略可涵盖常见的用户管理活动,DDL和DML行为,满足日常审计诉求。

2024-04-07 17:50:32 866

原创 openGauss 索引推荐

本功能是一个覆盖多种任务级别和使用场景的数据库智能索引推荐工具,其具备单Query索引推荐功能、虚拟索引功能、workload级别索引推荐功能,可以为用户提供可靠的索引建议。

2024-04-07 17:50:00 147

原创 openGauss 数据校验gs_datacheck

gs_datacheck 工具是一个基于JDK11 + Springboot2.6.7 框架实现MySQL到openGauss的数据校验工具。该工具提供了全量数据的校验以及增量数据的实时校验能力,可实现数据MySQL至openGauss数据一致性校验。

2024-04-07 17:49:29 712

原创 openGauss 数据库指标采集-预测与异常监控

本特性是openGauss集成的、可以用于数据库指标采集、预测以及异常监控与诊断的AI工具,是DBMind套间中的一个组件。当前通过兼容Prometheus平台来采集数据库系统的指标,提供Prometheus exporter用于采集和加工数据库监控指标。通过监控指标时序数据,可以用来预测未来负载走向,诊断问题,同时还可以进行异常检测等。

2024-04-07 17:48:57 295

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除