Gauss松鼠会

上一篇我们详细讲述“4.2.4 ustore”相关内容。本篇我们将继续为小伙伴们带来“4.2.5 行存储索引机制”、“4.2.6 行存储缓存机制”及“4.2.7 cstore”等精彩内容的详细介绍。4.2.5 行存储索引机制本节以B-Tree索引为例，介绍openGauss中行存储（格式）表的索引机制。索引本质上是对数据的一种物理有序聚簇。有序聚簇参考的排序字段被称为索引键。为了节省存储空间，一般索引表中只存储有序聚簇的索引键键值以及对应元组在主表中的物理位置。在查询指定的索引键键值元组时，得益

数据库, 数据仓库, 数据集市，数据湖，数据中台转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： 数据仓库和数据集市的区别 作者：修鹏李 出处：CSDN 大数据：数据仓库和数据库的区别 作者：南宫蓉 出处：简书 第一篇：数据仓库概述 第二篇：数据库关系建模 作者：穆晨 出处：CNBLOS 数据仓库、数据湖、数据集市、和数据中台的故事 作者：Murkey学习之旅 出处：csdn 数据中台和数仓的关系

上一篇我们详细讲述“3. astore元组多版本机制”、“4.astore访存管理”及“5.astore空间管理和回收”相关内容。本篇我们将继续为小伙伴们带来“4.2.4 ustore”的详细介绍。4.2.4 ustoreustore属于In-place Update更新模式，中文意思为：原地更新，是openGauss内核新增的一种存储模式。openGauss内核当前使用的行引擎采用的是Append Update（追加更新）模式，该模式在INSERT、DELETE、HOT UPDATE（页面内更新）的场

上一篇我们将详细介绍“4.2.3 astore”相关内容，本篇我们将讲述“3. astore元组多版本机制”及“4.astore访存管理”。3. astore元组多版本机制openGauss行存储表支持多版本元组机制，即为同一条记录保留多个历史版本的物理元组以解决对同一条记录的读、写并发冲突（读事务和写事务工作在不同版本的物理元组上）。astore存储格式为追加写优化设计，其多版本元组产生和存储方式如图4-5所示。当一个更新操作将v0版本元组更新为v1版本元组之后，如果v0版本元组所在页面仍然有空闲空

上一篇我们讲述了“4.2 磁盘引擎”中“4.2.1 磁盘引擎整体框架及代码概览”与“4.2.2 行存储统一访存接口”。本篇我们将讲述“4.2.3 astore”。4.2.3 astoreastore整体框架astore整体框架如图4-2所示。如上所述，作为行存储子格式之一，astore需要实现自己的堆表存取（访存）管理接口、堆表页面结构、堆表元组结构、元组多版本机制，以及空闲空间管理和回收机制。图4-2 astore整体框架示意图astore堆表页面元组结构本节介绍astore堆表的页

OLTP、OLAP业务各自对数据库的存储引擎提出了不同的要求，而openGauss能够支持多个存储引擎来满足来自不同场景的业务诉求。本章将逐一介绍各种存储引擎和对应的源码。4.1 存储引擎整体架构及代码概览从整个数据库服务的组成构架来看，存储引擎向上对接SQL引擎，为SQL引擎提供或接收标准化的数据格式（元组或向量数组）；向下对接存储介质，按照特定的数据组织方式，以页面、列存储单元（CU，compression unit）或其他形式为单位，通过存储介质提供的特定接口，对存储介质中的数据完成读、写操作。在

openGauss和PostgreSQL的源码目录结构对比作者：YAN左使目录**openGauss和PostgreSQL的源码目录结构对比****1. GaussDB为什么选择PG？****2. 源代码目录结构对比****2.1 数据库管理系统的架构和主要组件****2.2 src目录结构对比****2.3 从backend到common和gausskernel的变化****(1) gausskernel内核整体目录结构对比****(2) 公共组件common目录结构对比****(3) optimiz

本文作者：邹阳 详细参考 https://gitee.com/opengauss/docs 中的备份与恢复篇https://gitee.com/opengauss/docs/blob/master/content/zh/docs/Administratorguide/%E5%A4%87%E4%BB%BD%E4%B8%8E%E6%81%A2%E5%A4%8D.md以下文字摘至官方文档。openGauss部署成功后，在数据库的运行过程中，往往会遇到各种问题及异常状态。openGauss提供了g

本文作者： 瓜西西 本文主要面向openGauss数据库初学者，帮助初学者完成一些简单的数据库管理以及GUI，设计一个简单的人力资源管理系统。本文只包含部分代码，读者需要结合自己的数据库弹性公网、数据库用户及其密码等自身信息做出相应的修改。一、实验环境使用程序：putty.exe；IntelliJ IDEA 2021.1.1；apache-tomcat-9.0.46服务器名称：ecs-d8b3弹性公网：121.36.79.196端口号：26000表空间名：human_resource_

本文作者：华军        Helm 是 Kubernetes 的包管理器,包管理器类似于我们在 Ubuntu 中使用的apt、Centos中使用的yum一样，能快速查找、下载和安装软件包,本篇文章探索编写openGauss的 Helm Chart的包,方便openGauss的在Kubernetes的快速部署.1.环境清单#检查k8s运行环境[root@n-k8s-m ~]# kubectl get nodeNAME

本文作者：滋味         建立索引是提高数据库访问速度的重要手段之一。本文将对openGauss2.0.0的4个主要索引方式进行实验，验证建立索引前后查询性能的差异和部分索引规则。实验环境软件：openGauss2.0.0, openEuler20.03, VirtualBox6.1.16，虚拟机配置2处理器，4G内存硬件：CPU: Intel i5-8265UopenGauss索引介绍根据openGa

本文作者：吴松        本文主要介绍OpenGauss中常见的索引结构，索引相关元数据，并结合代码重点讲解B-tree索引使用过程中的重要流程，希望对大家理解OpenGauss中的索引有所帮助。索引方法B-Tree索引        B-tree索引适合比较查询和范围查询，当查询条件使用(>,=,<,>=,<=

本文作者：华军         openGauss是一款开源关系型数据库管理系统 , 深度融合华为在数据库领域多年的经验，结合企业级场景需求，持续构建竞争力特性;kubernetes也是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署，规划，更新，维护的一种机制, 本篇文章将介绍openGauss在kubernetes

本文作者：DSLS openGauss快速安装方法(docker)放开安全组(可选)云服务器需要开放端口以供外部连接。设置如下：开放22端口，用于远程SSH的连接。开放8887端口，用于数据库的连接。如果你闲麻烦，大可开放所有端口。8887端口不是固定的，可以任意设置，但不要和已占用的端口冲突。。如果是本地的虚拟机，则不需要上述设置。顺便一提，如果你想让同一局域网的其他设备（比如你舍友的电脑）连接到你的数据库，请把Windows防火墙关闭。登录服务器使用SSH远程登录到服务器之后

本文作者：李士福        上周，有小伙伴在openGauss技术交流群里问在编码开发过程中如何进行内存分配，使用时感觉和PostgreSQL使用方式有些不同。的确如这位同学所想，openGauss的内存管理尽管继承了PostgreSQL的内存管理机制，但进行了多方面的扩展和改造，目的是适配多线程架构，更好的满足企业化应用诉求。openGauss内存管理主要做了如下的功能：引入jemalloc开源库，替换glibc的内

本文作者: Mia         2021年4月份开始接触openGuass并做openGuass的有关实验，今天记下gs_dump逻辑备份的实验经历，以免未来忘记。（部分内容可能有疏漏，望包容和指出）注：实验的设计思路参考于华为openGauss的指导手册。1，数据库逻辑备份介绍        数据库逻辑备份指将数据库

一、准备环境1. 源库创建（Oracle）创建Oracle 11.2.0.4ocker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/oracle_11g_ee_lhr_11.2.0.4:1.0docker run -itd --name oracle -h oracle --privileged=true -p 1521:1521 -p 222:22 -p 1158:1158 lhrbest/oracle_11g_ee_lhr_11.2.0.4.

2021年4月份开始接触openGauss并做openGauss的有关实验，今天记下gs_basebackup物理备份的实验经历:-D，以免未来忘记。（部分内容可能有疏漏，望包容和指出）注：实验的设计思路参考于华为openGauss的指导手册。1.数据库物理备份介绍数据库物理备份指的是对数据库一些关键文件如日志、配置文件、关键数据等进行备份在数据库遭到破坏时能从备份处进行恢复。同时gs_basebackup备份的是数据库的二进制文件，因此在恢复是可以直接拷贝替换原有的文件或者直接在备份的库启动数据库。

Virtualbox+openEuler部属openGauss数据库指导手册 前 言简介内容描述前置条件实验环境说明单机安装概览 openGauss数据库安装1.1 实验介绍关于本实验实验目的 1.2 虚拟机VirtualBox下载及安装1.3 openEuler-20.03-LTS镜像文件下载1.4 VirtualBox下安装openEuler-20.03-LTS操作系统1.5 操作系统环境准备1.6 安装openGauss数据库 数据库使用1.7 前提条件1.8 操作步骤 ..

Data Studio客户端工具 写在前面1.3 Data Studio客户端工具1.3.1 准备连接环境1.3.2 确定26000端口是否放开1.3.3 软件包下载及安装1.3.4 Data Studio用户界面1.3.5 获取工具使用手册 写在前面 因为博主并没有购买使用华为云的openGauss及openEurler。使用的是再VirtualBox上的镜像搭建起来的openGauss。因此对于1.3.2在华为云上配置安全策略，开放端口的操作等可以忽略。直接跳转到1.3.3..

gsql客户端工具 前 言简介内容描述前置条件 客户端工具1.1 实验介绍1.1.1 关于本实验1.1.2 实验目的 1.2 gsql客户端工具1.2.1 gsql连接数据库1.2.1.1 确认连接信息1.2.1.2 本地连接数据库 1.2.2 gsql获取帮助1.2.2.2 连接数据库时，可以使用如下命令获取帮助信息1.2.2.3 连接到数据库后，可以使用如下命令获取帮助信息 1.2.3 gsql命令使用1.2.3.1 前提条件1.2.3.2 执行一条字符串命令1.2.3

Opengauss实践总结实验一 在ECS上安装部署openGauss数据库一、实验内容1、实验内容：本实验主要内容为弹性云服务器（openEuler）上安装部署openGauss数据库，并进行简单的数据库相关操作。2、实验概览：实验概览图二、实验过程1.进入华为官网，购买弹性云服务器ECS（openEuler ARM 操作系统）。购买时需自定义购买进行基础配置、网路配置、高级配置等。2.修改操作系统配置。使用SSH工具（比如：PuTTY等）从本地电脑通过配置弹性云...

openGauss数据库维护管理 openGauss数据库维护管理 1 操作系统参数检查1.1 实验介绍1.1.1 关于本实验gs_checkos工具用来帮助检查操作系统、控制参数、磁盘配置等内容，并对系统控制参数、I/O配置、网络配置和THP服务等信息进行配置。本实验主要是通过gs_checkos工具来检查操作系统参数设置是否合理。先进行场景设置，然后根据检查结果进行参数调整。1.1.2 实验目的掌握gs_checkos工具的基本使用；1.2 场景设置及操作步骤步骤 1用R

1、Hype-V虚拟机安装openEuler虚拟机平台有很多，像vmware、Hype-V、VirtualBox等等，考虑到与wsl2的兼容，这里选用Hype-V来安装x86架构的openEuler开启 hype-v虚拟机下载x86架构openEuler镜像打开openEuler官网，我们这里打算使用openEuler-20.03-LTS长期支持版依次打开openEuler-20.03-LTS-ISO-x86-64，选择openEuler-20.03-LTS-x86_64-dvd.iso)进

openGauss 备份恢复之gs_probackup机器数量：2 台硬件环境：x86 虚拟机的内存4GB软件环境：CentOS7.6 x64数据库版本：opengauss2.0.0,数据库软件是通过编译安装节点：node1 192.168.126.129节点：node2 192.168.126.1301.1. 背景信息gs_probackup是一个用于管理openGauss数据库备份和恢复的工具。它对openGauss实例进行定期备份，以便在数据库出现故障时能够恢复服务器。可用于备份单

实验目标与基本要求指导用户基于华为云鲲鹏云服务器，部署openGauss单机数据库。通过本实验，您能够：1.使用openGauss的om工具成功安装openGauss单机数据库。2.登录到openGauss数据库进行简单的增删改查操作。实验步骤：1.购买鲲鹏云主机购买弹性云服务器ECS选型时候，CPU架构需要选择鲲鹏计算。操作系统选择openEuler – openEuler 20.03 64bit with ARM(40GB)2，登录云主机，下载openGauss镜像并解压[root@

一、 过程化SQL基本的SQL是高度非过程化的语言。嵌入式SQL将SQL语句嵌入程序设计语言，借助高级语言的控制功能实现过程化。过程化SQL是对SQL的扩展，使其增加了过程化语句功能。简单来说，从标准SQL语句到嵌入式SQL再到过程化SQL，就是使SQL功能不断增强的过程。标准SQL语句相当于是可以操纵数据库的一些“武器”，嵌入式SQL相当于给程序设计语言（如java，C语言等）装备了这些“武器”，而过程化SQL相当于给这些“武器”予以血肉，通过自身带有的流程控制语句操纵数据库。过程化SQL程序的基本

测试种类：单query索引推荐、虚拟索引推荐（由于数据限制没有进行workload测试）测试的表数据量如下：在test数据库下的aka_name、customer表。aka_name为60多万条数据（取自imdb数据集数据中一个表的数据）、customer为4条数据（自己创建的）。2.单query索引推荐：gs_index_advise 用于针对单挑查询语句生成推荐索引（1）where语句只有一个属性的情况（2）where语句有多个属性的情况① 两个属性，范围查找.只推荐了id，没有推荐

一、openguass的安装如何快速简洁地安装openguass安装opengauss的方式在我已知范围内有两种，一种是在虚拟机上安装centos（其实我感觉是个linux就行，但是我也没试过）然后在使用openguass的镜像进行手动安装。第二种是直接在docker上拉取镜像即可。从上面的描述中，第一种方法看上去很复杂实际上也很复杂，所以我都是使用第二种方法的。你要问这两种安装方式有什么不同吗？在我使用的范围内我感觉是没有什么不同的，主要是安装简单和方便那我们来看看怎么安装吧docker下载

opengauss 2.0.0 升到2.0.1操作系统是openeuler 20.03 LTS sp1,4c4g,opengauss 2.0 是用贾军锋老师的一键安装脚本安装的。[omm@openeuler ~]$ gs_om -Vgs_om (openGauss OM 2.0.0 build 7ef5c80a) compiled at 2021-03-31 21:16:05 commit 0 last mr将2.0.1的包放在原安装目录/soft/openGauss下lsbin openGa

总结十点PostgreSQL/openGauss数据库中容易犯的错误。1.同时设置日志行前缀和csvlog格式比较常见大家同时配置下面这两个参数log_line_prefix = '%m %u %d %p'log_destination='csvlog'%m是带毫秒的时间戳%u是用户名%d是数据库名%p是进程ID然后当我们配置为csvlog日志时，日志行的内容项是固定的，所以当我们需要配置日志前缀，精简日志行的内容项时，log_destination不能配置为csvlog。下面是正确

逻辑复制由两部分组成：逻辑解码和数据复制。逻辑解码会输出以事务为单位组织的逻辑日志。业务或数据库中间件将会对逻辑日志进行解析并最终实现数据复制。openGauss当前只提供逻辑解码功能，因此文只对逻辑解码进行简单说明和测试。逻辑解码为逻辑复制提供事务解码的基础能力，openGauss使用SQL函数接口进行逻辑解码。此方法调用方便，不需使用工具，对接外部工具接口也比较清晰，不需要额外适配。由于逻辑日志是以事务为单位的，在事务提交后才能输出，且逻辑解码是由用户驱动的；因此为了防止事务开始时的xlog被系统

TPC-H 是一个面向分析型业务(AP)的基准测试，它由一系列热点查询组成，这些热点查询都是高度复杂的，因此执行时间往往都比较长。在本次实验测试中，将手动向数据库加载TPC-H数据，并保存在名为 tpch 的数据库中。默认TPC-H数据库的表缺少索引，数据库的参数并没有做任何优化，因此执行效率会比较差。本实验内容比较浅显，使用openGauss的索引推荐(Index-advisor)功能，对数据库进行性能优化，同时也让大家对Index-advisor功能有一个初步的了解。环境信息OS： Cent

TPC-H 是一个面向分析型业务(AP)的基准测试，它由一系列热点查询组成，这些热点查询都是高度复杂的，因此执行时间往往都比较长。 在本次实验测试中，将手动向数据库加载TPC-H数据，并保存在名为 tpch 的数据库中。默认TPC-H数据库的表缺少索引，数据库的参数并没有做任何优化，因此执行效率会比较差。 本实验比较浅显，使用openGauss的参数自调优(X-Tuner：gs_xtuner)功能，对数据库进行参数优化，以提升数据库运行性能，让大家对X-Tuner参数自调优有一个初步的了解。环境信

2020年7月openGauss刚刚开源，我便开始对openGauss数据库的学习。根据以往学习数据库的经验，最先想了解的是openGauss数据库的架构，希望对即将使用的数据库各个模块有所了解。但鉴于时间有限，仅有的资料图是源码doc目录内的“openGauss逻辑结构图”，便针对该图做了简单介绍，并形成文档《浅聊openGauss逻辑架构》，感兴趣的小伙伴可以参考。虽然已发表关于openGauss逻辑架构介绍的文章供大家参考，但总感觉缺少点什么(想念学习Oracle时的那张体系架构图)。今年初准备培训

一、前期准备关闭防火墙，selinuxsystemctl disable firewalld.service systemctl stop firewalld.service setenforce=0 sed -i '/^SELINUX=/c'SELINUX=disabled /etc/selinux/config 安装依赖包yum install libaio-devel -y 创建相关目录，用户，组groupadd dbgrp -g 2000 useradd omm

一、前期准备关闭防火墙，selinuxsystemctl disable firewalld.service systemctl stop firewalld.service setenforce=0 sed -i '/^SELINUX=/c'SELINUX=disabled /etc/selinux/config 安装依赖包yum install libaio-devel -y 创建相关目录，用户，组groupadd dbgrp -g 2000 useradd omm

Gauss松鼠会是汇集数据库爱好者和关注者的大本营，大家共同学习、探索、分享数据库前沿知识和技术，互助解决问题，共建数据库技术交流圈。openGauss官网

Gauss松鼠会是汇集数据库爱好者和关注者的大本营，大家共同学习、探索、分享数据库前沿知识和技术，互助解决问题，共建数据库技术交流圈。openGauss官网

Gauss松鼠会是汇集数据库爱好者和关注者的大本营，大家共同学习、探索、分享数据库前沿知识和技术，互助解决问题，共建数据库技术交流圈。openGauss官网

Gauss松鼠会是汇集数据库爱好者和关注者的大本营，大家共同学习、探索、分享数据库前沿知识和技术，互助解决问题，共建数据库技术交流圈。openGauss官网

Gauss松鼠会是汇集数据库爱好者和关注者的大本营，大家共同学习、探索、分享数据库前沿知识和技术，互助解决问题，共建数据库技术交流圈。[openGauss官网：](https://opengauss.org)

Gauss松鼠会是汇集数据库爱好者和关注者的大本营，大家共同学习、探索、分享数据库前沿知识和技术，互助解决问题，共建数据库技术交流圈。[openGauss官网：](https://opengauss.org)

openGauss 是一款开源关系型数据库管理系统，采用木兰宽松许可证 v2 发行。openGauss 内核源自 PostgreSQL 9.2.4，深度融合华为在数据库领域多年的经验，结合企业级场景需求，持续构建竞争力特性。同时 openGauss 也是一个开源的数据库平台，鼓励社区贡献、合作。...

上一篇openGauss数据库源码解析系列文章——公共组件源码解析（上）中，从系统表、数据库初始化、多线程架构及线程池技术四个方面对公共组件的源代码实现进行介绍。本篇接着从内存管理、多维监控、模拟信号机制展开介绍。五、内存管理数据库在运行过程中涉及许多对象，这些对象具有不同的生命周期，有些处理需要频繁分配内存。如一个SQL语句，在解析时需要对词法单元和语法单元分配内存，在执行过程中需要对执行状态分配内存。在事务结束时，如果不是prepare语句，那么SQL语句的执行计划内存和执行过程的状态内存都需要释放

在数据库组件中，一些组件是专用的，如词法解析只用于SQL引擎；而另外一些组件是公共的，用于整个数据库系统。openGauss的公共组件包括系统表、数据库初始化、多线程架构、线程池、内存管理、多维监控和模拟信号机制等。每个组件实现了一个独立的功能。本篇将从系统表、数据库初始化、多线程架构及线程池技术四个方面对公共组件的源代码实现进行介绍。一、系统表系统表又称为数据字典或者元数据，存储管理数据库对象的定义信息，如表、索引、触发器等。用户可通过系统表查询用户定义的具体对象信息，如表的每个字段类型。因为open

在openGauss数据库源码解析系列文章——openGauss开发快速入门（中），介绍了openGauss基本使用，本篇将从openGauss的开发和编译、参与openGauss社区开源项目两方面展开具体介绍。三、 开发和编译作为openGauss数据库开发者，在基于openGauss开源产品进行二次开发后，往往需要编译openGauss对所开发的功能的实现情况进行验证。本篇向读者简要介绍openGauss的编译方法，详细的内容参见openGauss官网（https://opengauss.org/z

在上一篇openGauss数据库源码解析系列文章——openGauss开发快速入门（上）中，我们介绍了openGauss的安装部署方法，本篇将具体介绍openGauss基本使用。二、 openGauss基本使用openGauss安装完成后会自动启动，用户可以使用openGauss自带的gsql（openGauss交互终端）客户端连接数据库进行相关SQL操作。（一） 连接数据库本篇为您介绍如何使用gsql客户端连接数据库。gsql是openGauss自带的客户端工具。使用gsql连接数据库，可以交互

作为openGauss数据库开发者，在基于开源社区的openGauss版本进行二次开发的过程中，需要完成软件包获取、源码了解、代码修改、编译发布等过程，同时还需要安装数据库以了解数据库的基本特点、验证开发的功能实现情况，本篇将简要介绍openGauss的安装部署方法。一、 安装部署作为openGauss数据库开发者，除了基于openGauss开源产品进行二次开发外，往往也需要了解openGauss的特点和使用方法，同时验证所开发的功能的实现情况。本篇向读者简要介绍openGauss的安装部署方法，详细的

五、价值特性openGauss相比其它开源数据库主要有复合应用场景、高性能和高可用等产品特点。（一）高性能1. CBO优化器openGauss优化器是典型的基于代价的优化（Cost-Based Optimization，简称CBO）。在这种优化器模型下，数据库根据表的元组数、字段宽度、NULL记录比率、唯一值（Distinct Value）、最常见值（Most Common Value, 简称MCV）等表的特征值以及一定的代价计算模型，计算出每一个执行步骤的不同执行方式的输出元组数和执行代价（cos

上一篇openGauss数据库源码解析系列文章–openGauss简介（上）中，从openGauss概述、应用场景、系统结构、代码结构四个方面对openGauss进行了初步介绍。其中，openGauss的代码结构介绍了数据库系统通信管理、SQL引擎两方面内容，本篇接着从代码结构第三方面的内容——存储引擎，以及openGauss的价值特性方面展开介绍。（三）存储引擎openGauss存储引擎是可插拔、自组装的，支持多个存储引擎来满足不同场景的业务诉求，目前支持行存储引擎、列存储引擎和内存引擎。早期计算机

openGauss数据库是华为深度融合在数据库领域多年经验，结合企业级场景要求推出的新一代企业级开源数据库。此前，Gauss松鼠会已经发布了openGauss数据库核心技术系列文章，介绍了openGauss的技术原理。从本期开始，Gauss松鼠会将陆续推出openGauss数据库源码解析系列文章，带你解析openGauss各功能模块的源代码逻辑和实现原理。该系列文章主要面向openGauss内核开发者及研究人员。接下来会先向大家概要介绍openGauss。本篇将从openGauss概述、应用场景、系统结构

上篇内容从openGauss安全机制概览、openGauss安全认证、openGauss角色管理机制等方面介绍了openGauss安全（上）中的内容，本篇将围绕openGauss审计与追踪、openGauss数据安全技术、openGauss云安全技术、openGauss智能安全机制对openGauss安全的其他方面进行介绍。四、openGauss审计与追踪openGauss在部署完成后,实际上会有多个用户参与数据管理。除了管理员用户外,更多的是创建的普通用户直接进行数据管理。用户的多样性会导致数据库存在

随着数字化技术的飞速发展,数字、连接、信号、人工智能充斥着人们工作、生活的各个领域。这些数字化信息被快速转换成数据并存放在各式各样的数据库系统中,而且通过进一步的数据管理与分析产生商业价值。这些有价值的数据或被存放在企业相对封闭的私有网络内,或被存放在相对开放的公有云环境下,又或是集成在智能系统中。人们在享受由数字化发展所带来的便捷生活的同时,也可能面临着无处不在的隐私泄露、信息篡改、数据丢失等安全风险。数据库安全作为数据库系统的护城河,通过访问登录认证、用户权限管理、审计与监视、数据隐私保护以及安全信道

openGauss并发控制在openGauss事务机制（上）的介绍中,已经了解当数据库中存在并发执行事务的情况下,要保证ACID特性,需要一些特殊的机制来支持。并发控制就是这样的一种控制机制,能够保证并发事务同时访问同一个对象或数据下的 ACID特性。openGauss并发控制是十分高效的,其核心是 MVCC和快照机制。如openGauss事务机制（上）所述,通过使用 MVCC和快照,可以有效解决读写冲突,使得并发的读事务和写事务工作在同一条元组的不同版 本上,彼 此不会相互阻塞。对于并发的两个写事务,

事务是为用户提供的最核心、最具吸引力的数据库功能之一。简单地说,事务是用户定义的一系列数据库操作(如查询、插入、修改或删除等)的集合,从数据库内部保证了该操作集合(作为一个整体)的原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability),这些特性统称事务的 ACID特性。其中:A:原子性是指事务中的所有操作要么全部执行成功,要么全部执行失败。一个事务执行以后,数据库只可能处于上述两种状态之一,即使数据库在这些操作执行过程中发生故障,也

上一篇内容我们介绍了openGauss存储技术（一）——行存储引擎，本文重点介绍openGauss列存储引擎和内存引擎。openGauss列存储引擎传统行存储数据压缩率低，必须按行读取，即使读取一列也必须读取整行。在分析性的作业以及业务负载的情况下，数据库往往会遇到针对大量表的复杂查询，而这种复杂查询中往往仅涉及一个较宽(表列数较多)的表中个别列。此类场景下，行存储以行作为操作单位，会引入与业务目标数据无关的数据列的读取与缓存，造成了大量IO 的浪费，性能较差。因此openGauss提供了列存储引擎的相

OLTP(联机事务处理)系统以高并发读写为主，数据实时性要求非常高，数据以行的形式组织，最适合面向外存设计的行存储引擎。随着内存逐渐变大，服务器上万亿字节(TB)大小的内存已经很常见，内存引擎面向大内存而设计，提高系统的吞吐量和降低业务时延。OLAP(联机分析处理)系统主要面向大数据量分析场景，对数据存储效率、复杂计算效率的要求非常高。列存储引擎可以提供很高的压缩比，同时面向列的计算，CPU 指令高速缓存和数据高速缓存的命中率比较高，计算性能比较好，按需读取列数据，大大减少不必要的磁盘读取，非常适合数据分析

执行器在数据库的整个体系结构中起承上(优化器)启下(存储)的作用。本文首先介绍执行器的基本框架，然后引申介绍执行引擎中的一些关键技术。通过本文的阅读，读者能对执行器有个基本的认识。一、 openGauss执行器概述从客户端发出一条SQL语句到结果返回给客户端的整体执行流程如图1所示，从中可以看到执行器所处的位置。图1 客户端发出SQL语句的执行流程示意图如果把数据库看成一个组织，优化器位于组织的最上层，是这个组织的首脑，是发号施令下达指令的机构，执行器位于组织的中间，听从优化器的指挥，严格执行优化

上一篇openGauss SQL引擎 （上）中我们介绍了SQL引擎概览、SQL解析以及查询优化器的优势和优化技术的分类，本文将详细介绍查询优化的相关内容。（一）查询重写查询重写利用已有语句特征和关系代数运算来生成更高效的等价语句，在数据库优化器中扮演关键角色，尤其在复杂查询中，能够在性能上带来数量级的提升，可谓是“立竿见影”的“黑科技”。下面介绍查询重写的基本概念、常见的查询重写技术、查询重写面临的挑战等内容。1.查询重写的概念SQL是丰富多样的，应用非常灵活，不同的开发人员依据不同的经验，编写的S

数据库的SQL引擎是数据库重要的子系统之一，它对上负责承接应用程序发送的SQL语句，对下负责指挥执行器运行执行计划。其中优化器作为SQL引擎中最重要、最复杂的模块，被称为数据库的“大脑”，优化器产生的执行计划的优劣直接决定数据库的性能。本文从SQL语句开始介绍，对SQL引擎的各个模块进行全面的说明。一、 SQL引擎概览SQL引擎是数据库系统的重要组成部分，主要职责是将应用程序输入的SQL语句在当前负载场景下生成高效的执行计划，在SQL语句的高效执行上扮演重要角色。SQL语句在SQL引擎中的执行过程如

面向鲲鹏的创新架构华为的鲲鹏920处理器以及后续的处理器系列，与传统的英特尔 x86处理器相比，存在以下3方面的不同:具有更多计算核心，使得可以并行运行的算力大幅增加。具有更加显著的 NUMA 特性，将导致并行处理线程间同步代价的提高。处理器内部、跨处理器之间的核间通信能力(鲲鹏处理器提供 POE，Packet OrderEnforcement能力，实现核间通信消息包的保序能力)，可以提升先前通过内存通信机制的通信效率。为了提升数据库系统对处理器的有效利用率，保证数据库系统提供的面向客户的 S

GaussDB云数据库架构云数据库系统的主要目的是提供数据库系统服务的基础设施,以实现对计算机资源的共享。本文所讲述的GaussDB云数据库架构设计的内容,目前处于研发阶段,对应产品尚未向客户发布。1.设计思想与目标客户从数据存放的位置来看,云数据库系统可以分成三大类:公有云数据库系统服务: 该类数据库系统服务主要面向中小型企业的数据库需求。针对中小型企业提供公有云数据库系统服务,可以大幅降低这类公司的运营成本,比如构建数据中心或者机房、构建服务器、运维服务器、运维数据库系统的成本等,同时也使得这

在GaussDB架构（上）中我们介绍了GaussDB的发展历史和架构概览，本篇主要介绍GaussDB OLTP数据库架构和GaussDB OLAP数据库架构。GaussDB OLTP数据库架构。OLTP是传统的关系数据库的主要应用,包括基本的增加、删除、修改、查询事务处理,例如银行交易。1. 设计思想与目标客户OLTP业务场景主要分为两大类:一类是金融银行业务场景,一类是互联网业务场景。但应用OLTP业务要满足5个重要的需求:故障业务中断时间,RTO(Recovery Time Objectiv

GaussDB是华为公司数据库产品品牌名。华为公司从开始自研数据库至今已经有近20年历史,其中经历了早期发展、GaussDB的诞生和发展、数据库产业化三个阶段。本文简明介绍华为公司自研数据库的历程,并给出一些GaussDB的里程碑时间点。GaussDB的发展历史是中国数据库发展历程的典型案例。GaussDB以云服务形式提供商业版本,并已在2020年中期推出开源数据库产品openGauss(社区网址为https://opengauss.org )。一、GaussDB发展历史本节首先概要介绍华为自研数据库的

新应用驱动的数据库(5G、车、终端云)从数据库诞生开始,新的应用领域就不断为数据库带来新诉求,例如巨大的数据量、更短的数据处理时间、更高的可靠性、新的数据类型,而数据库也在满足这些新的诉求的同时得到不断的发展与更新。一、 及其相关应用对数据库系统带来的挑战与机遇从历史上看,通信技术对数据库发展起到了至关重要的作用：1980—1990年,TCP/IP网络协议出现,大中型企业内部开始规模部署局域网,甚至通过卫星技术将地域上分散的局域网互联互通,这推动了企业IT系统从主机时代走向客户端/服务端(Clie

数据库是IT技术栈中承上启下的关键一层，具有如下特性：向上承托应用开发与运行，是应用生态关键组成之一。向下对接硬件和OS，对数据处理应用屏蔽底层硬件复杂性和兼容性。数据库系统是IT技术栈中的独立“小王国”，被誉为“软件行业皇冠上的明珠”。它内含了几乎所有的基础软件关键技术，是软件集大成者: OS(进线程调度和内存分配管理)、编程语言(SQL)、编译器(SQL编译和编译执行)、大规模并行计算(分布式SQL执行)、优化技术(优化器)等。数据库是数学理论和软件工程的结晶，其中蕴含了两个NP-Hard的世

本篇文章为大家讲解AI原生数据库和其他类型数据库的发展历程。AI原生数据库近年来,随着AI(人工智能)技术的成熟和发展,AI与数据库的结合越来越紧密。为了提高数据库系统的智能化程度,使数据库系统能够更加智能地运行、维护、管理,不断有研究者采用人工智能方法来解决数据库管理、优化等问题。2019年初,谷歌联合麻省理工学院、布朗大学的研究人员共同推出了新型数据库系统SageDB,并撰写了一篇论文详述SageDB的设计原理和性能表现。论文中提出学习模型可以渗透到数据库系统的各个方面,提供了一种构建数据库系统的

在《数据库发展史（上）》中，为大家介绍了网状数据库和层次数据库、关系数据库、分布式数据库、云数据库的发展史。本篇文章为大家介绍NoSQL数据库和NewSQL数据库的发展历程。NoSQL数据库尽管关系数据库系统技术已经相对成熟,能很好地处理表格类型的数据,但对业界出现的越来越多复杂类型的数据(如文本、图像、视频等)无能为力。尤其是步入互联网Web 2.0和移动互联网时代,许多互联网应用有着高并发读写、海量数据处理、数据结构不统一等特点,传统的关系数据库并不能很好地支持这些场景。另一方面,非关系数据库有着高

数据库技术是信息技术领域的核心技术之一,几乎所有的信息系统都需要使用数据库系统来组织、存储、操纵和管理业务数据。数据库领域也是现代计算机学科的重要分支和研究方向。目前,在数据库领域已经产生了四位图灵奖得主,他们在数据库理论和实践领域均有突出贡献。在数据库诞生之前,数据存储和数据管理已经存在了相当长的时间。当时数据管理主要是通过表格、卡片等方式进行,效率低下,需要大量人员参与,极易出错。20世纪50年代,随着计算机的诞生和成熟,计算机开始运用于数据管理,与此同时,数据管理技术也迅速发展。传统的文件系统难以

3月31日，openGauss 2.0.0 版本正式上线！openGauss 2.0.0 是openGauss社区发布的第一个Release版本。2.0.0版本与之前版本保持兼容的同时，也新增了众多特性，特别是在高性能、高安全和智能化的打造上有了更大的突破。01 鲲鹏NUMA架构优化，实现性能业界领先openGauss2P4P线性度架构优化后150230150%4P鲲鹏性能达到230万tpmC（每分钟处理交易量，被业界广泛用于衡量计算机系统的事务处理能力），满足1.

Gauss松鼠会成立于2016年，以剖析论文的分享方式为主，同时包括前沿技术分享、专家讲座等方式。分享者包括华为公司技术专家/骨干、高校教授/副教授以及其他企业专家。Gauss松鼠会在华为已开展了300多期，获得了很好的反响。随着华为Gauss数据库产品在市场的发行与推广，为了更好的面向国内数据库爱好者建立技术交流圈，特将Gauss松鼠会的开展范围扩大到华为公司外，并建立Gauss松鼠会微信公众号，以此作为Gauss松鼠会的技术分享平台。Gauss松鼠会定位：汇集数据库的爱好者和关注者，大家共同学习、探