DAISER-CSDN博客

原创 GBase 8a gcChangeInfo.xml的含义介绍

gcChangeInfo.xml是生成distribution的gnode节点信息文件。集群安装成功后，执行安装操作命令的节点上，在安装包目录下，会生成一个gcChangeInfo.xml文件。该文件为xml格式，其根标签为，描述生成distribution的gnode节点信息；子标签为，即机架，描述的是机架与gnode节点对应关系。安装后生的gcChangeInfo.xml中仅有一个，其中包含集群中的所有gnode节点信息，在使用pattern 1模式生成dist...

2022-06-30 10:13:56 359 1

原创 GBase 8a扩容实施时是否可以间断性的以表为单位进行扩容

8611支持按照表单位的扩容，并且支持断点续传。但当采用上述间断性扩容策略时，需要根据表的业务特性，对实施扩容的表顺序进行充分评估，此外还要考虑对于不同关联表的异构分布问题，即在扩容过程中，可能存在对于1个任务下的两个要关联的表，1个表是按照扩容前节点分布，而另一个表是按照扩容后节点在分布，这两表的在执行关联时，必然性能会变低。...

2022-05-31 10:59:59 151

原创 GBase8a数据同步过程中，集群模式变更顺序

同步表结构前：集群模式为 NORMAL,集群可以正常操作。同步表结构期间：集群模式为 READONLY，只允许进行查询操作，不允许任何 dml、ddl 以及加载操作，此时进行数据表结构的同步操作，对用户数据表设置全同步标志。同步完成后：集群模式为 NORMAL,集群可以正常操作。...

2022-05-31 10:56:06 180

原创 GBase 8a集群实现的核心功能

大规模集群实现的核心功能如下：（1）实现非对称部署，gclusterd 和gcware 部署在同一台机器上，gnode 单独部署。gclusterd 和gcware 节点最多支持64 台，gnode 节点至少支持300 台，数据量大于30PB。（2）取消safe group，升级安装后，gcware自动更新内部数据结构到新集群架构的数据结构。（3）集群与gnode通信采用异步API方式，不再产生新线程访问gnode。（4）一个物理节点可支持多个主分片，数据的Hash分布和主分片（虚拟节点）对

2022-05-30 10:37:23 234

原创 GBase8a大规模集群的加载使用限制

（1）当使用定长加载模式时，必须指定FIELDS DEFINER（后续支持DEFINER和length两种情况都支持）的值。（2）当使用文本加载模式时，NULL_VALUE的默认值为'\N'。（3）当使用文本加载方式时，行分隔符默认为'\n'。（4）当使用文本加载方式时，如果某列数据可能包含了行分隔符，则需要在SQL中输入'HAVING LINES SEPARATOR'子句，同时需要输入'ENCLOSED BY'指定字段包围符。（注意该种方式不能切块进行加载，压缩文件(gz,snappy,lzo

2022-05-30 10:32:45 180

原创 GBase 8a大规模集群加载服务核心功能

大规模集群加载实现的核心功能如下：（1）支持多加载机（2）支持多个数据源对一个表的同时加载（3）支持加载表状态的监控（4）支持以SQL接口方式进行加载（5）支持加载的高可用加载接入点gcluster异常后，能够支持加载的failover（6）支持加载对错误数据的溯源功能（7）支持GBK和UTF8字符编码格式的加载（8）支持多种协议的数据获取方式（9）支持多种数据格式（10）支持加载程序的性能随着节点数的增加而线性提升...

2022-05-30 10:29:28 116

原创 GBase 8a大规模集群在线扩容实现的核心功能

大规模集群在线扩容实现的核心功能如下：（1）扩容，缩容可按照实例，指定库，指定表的方式执行。（2）扩容，缩容按照SQL接口方式执行。（3）扩容，缩容的SQL按照异步的方式来执行，后台启动任务执行，满足表的扩容和缩容条件时执行该操作，不满足时跳过，循环检查直至满足条件时就执行，直至表扩容和缩容成功。（4）扩容，缩容不中断现有业务，需要在线完成扩容和缩容，在线扩容和缩容期间对非扩容和缩容的表允许执行查询，加载，DML，DDL；对正在扩容的表只允许执行查询，加载和追加（insert values,

2022-05-30 10:24:11 163

原创 GBase 8s 自主访问控制

采用访问控制表访问方式以实现自主访问控制，即采用如下表所示的访问控制表。访问控制表客体1 客体2 …… 客体n 主体1 操作1.1 操作1.2 …… 操作1.n 主体2 操作2.1 操作2.2 ……

2022-04-27 15:22:06 298

原创 GBase 8s 数据安全性

GBase 8s通过数据存储加密保证数据存储的安全性。GBase 8s的数据存储加密采用库内加密的方式，在数据库管理系统的内核存储引擎级进行数据加解密处理，从而对于合法用户来讲是完全透明的，因此也称为透明加密。现有存储加密包括如下技术特点：透明加密：存储加密由数据库内核在后端安全存储引擎中实现，对于合法用户来说完全透明，不影响合法数据库用户的前端操作，不存在功能损失；硬件加密：通过集成国家密码管理局审批的密码卡，为安全数据库提供高强度的加密函数及有效的密钥管理；PCI/PCI-E标准接口；.

2022-04-27 15:16:20 139

原创 GBase 8s客体重用

客体重用是指在计算机信息系统可信计算基的空闲存储客体空间中，对客体初始指定、分配或再分配一个主体之前，撤销该客体所含信息的所有授权。当主体获得对一个已被释放的客体的访问权时，当前主体不能获得原主体活动所产生的任何信息。客体重用功能可以防止重要的客体介质在重新分配给其他主体的时候产生信息泄漏。由GBase 8s系统自动实现，系统在每次对资源作分配后，将自动清除资源中包含的残留信息。这些资源包括内存单元及磁盘区域，从而避免了客体重用的安全隐患。内存单元：内存中不需要的信息将会被清零并删除，可保证不需要的

2022-04-27 15:01:18 172

原创 GBase 8s的数据类型

GBase 8s拥有完善的数据类型管理体系，且内置了日常应用所能涉及的所有数据类型，完全可以满足企业数据管理的需求。支持的内置数据类型包括：数字类型：SMALLINT、INTEGER、INT8、BIGINT、DECIMAL、NUMERIC、FLOAT、SMALLFLOAT、REAL、DOUBLE、LONG、SERIAL、SERIAL8、BIGSERIAL、MONEY。字符类型：CHAR、VARCHAR、VARCHAR2、LVARCHAR、NCHAR、NVARCHAR、CHARACTER VARYIN

2022-04-27 14:53:28 243

原创 GBase 8s 集群架构

GBase 8s系统的高可用集群有共享存储集群、容灾集群三种，并支持组合，实现两地三中心高可用部署。集群切换可通过连接管理器（CM）组件实现。其中，灾备集群HAC(High availability cluster)根据备份距离不同分为同城灾备集群和异地灾备集群。HAC技术是一种将数据从主服务器复制到备服务器的技术。异地灾备集群是同城容灾的扩展，提供远程的容灾备份方案，同城容灾备集群支持同步、半同步、异步三种模式，异地灾备集群支持异步模式；共享存储集群SSC(Shared storage clust

2022-03-28 15:19:02 1470

原创 GBase 8s 安全架构

GBase 8s安全架构是保证数据库具备安全特性的基础。用户或应用使用客户端通过安全通信登录数据库，经过身份认证模块确认用户身份，避免非法用户的访问。通过角色管理确认登录用户的角色，从而完成符合角色身份的工作。安全管理员通过LBAC模块制定安全标签来决定用户对数据的访问策略。数据拥有者通过DAC模块分配用户对库、表、字段的访问权限。系统安全员制定审计策略决定审计的内容，审计操作员对审计功能进行启、停和配置，并对审计记录进行分析。被访问的数据以密文形式存储于磁盘上，经由安全存储模块通过硬件加密卡解密后加载以供

2022-03-28 15:18:13 6490

原创 GBase 8s 数据库服务架构

数据库服务架构GBase 8s总体上由三大部分组成：管理工具、应用接口、数据库主服务。Ø管理工具包含图形化管理工具和命令行管理工具。l图形化管理工具•安全管理器：用于安全标签、用户赋权等安全管理相关图形化界面；•审计管理器：安全审计的打开、关闭，审计标签设定，审计记录查看等功能；•统一监控平台：提供数据库系统的运行状态信息展示，供系统维护人员、系统管理员等角色对数据库进行调优、排错等日常维护工作；•迁移工具：提供同源或非同源...

2022-03-28 15:15:02 488

原创 GBase 8s 共享存储集群

共享存储集群GBase 8s SSC（共享存储高可用集群）采用共享磁盘方式实现计算节点高可用，数据仅存储一份，有效利用硬件资源，避免数据重复存储问题。SSC集群中各节点均能对外提供服务，适合写少读多，对读性能有线性扩展需求的场景，集群节点数最多可达128个。SSC具有安装简单、应用无感知、故障自动切换、低成本等特点。1.工作原理SSC主备节点状态一致性通过LSN同步+逻辑日志重放实现。SSC主节点接收业务请求，写逻辑日志，并将逻辑日志中与操作一一对应的LSN号发给各个备节点，从主节点接收到LSN

2022-03-28 15:09:00 682

原创 GBase 8s 用户权限三权分立

传统商业数据库通常定义一个超级管理员，该管理员具有至高无上的权力，可以操作任何的数据库功能，管理任何的数据，这便造成了特权用户缺少权力约束的安全隐患，这种系统机制存在的安全漏洞很难从应用的角度去规避。GBase 8s安全数据管理系统分权的基本安全思想是最小特权的授权原则，对一个主体（用户）仅赋予完成预定任务所必需的最小权限。基于该安全策略，把数据库管理系统的用户由原来单一的超级数据库管理员变成现在的三类角色：安全管理员、审计管理员、数据管理员。它们分别承担着不同的职责，并且期望它们三者之一应不能涉及其他

2022-03-28 15:01:53 1034

原创 GBase8s 索引扩展数据块大小

索引扩展数据块大小数据库服务器根据相应表的扩展数据块大小来确定索引的扩展数据块大小，而不管索引是否分段。1.对于连接索引，数据库服务器使用索引键大小与行大小的比率来为索引分配适当的扩展数据块大小。以下公式显示数据库服务器如何使用索引键大小与行大小的比率：索引扩展数据块大小 = (index_key_size/table_row_size) *table_extent_size在此公式中：·index_key_size是已建立索引的一个或多个列的总宽度加上 5...

2022-02-21 09:49:21 816

原创 GBase8s 森林树索引

森林树索引森林树索引类似于 B 型树索引，但具有多个根节点，并且级别可能更少。多个根节点可以缓解根节点争用情况，因为更多并发用户可以访问索引。森林树索引还可以通过减少缓冲区读操作中涉及的级别数，提高查询的性能。您可以创建森林树索引作为 B 型树索引的替代项，但不能作为 R 型树索引或其他类型索引的替代项。与包含一个根节点的传统 B 型树索引不同，森林树索引相当于一个划分为更小子树（可将其视为存储区）的大型 B 型树索引。这些子树包含多个根节点和叶。下图显示森林树索引的结构。图:森林树索引的.

2022-02-21 09:39:04 135

原创 GBase8s B 型树索引

B 型树索引GBase 8s 将 B 型树索引用于包含内置数据类型的列（称为传统 B 型树索引），用于包含一维用户定义的数据类型的列（称为一般 B 型树索引），以及用户定义的数据类型返回的值。内置数据类型包括 character、datetime、integer 和 float 等。有关内置数据类型的更多信息，请参阅《GBase 8s SQL 指南：参考》。用户定义的数据类型包括不透明和单值数据类型。有关用户定义的数据类型的更多信息，请参阅 GBase 8s 用户定义的例程与数据类型开发者指南

2022-02-21 09:35:30 148

原创 GBase 8a MPP Cluster 全文检索

GBase 8a MPP Cluster 数据库支持全文检索，由于默认采用全单字索引方式，支持几乎所有的语种，并且可以保证 100%的查询召回率。结合 GBase 8a MPPCluster独特的列存储，压缩和智能索引技术，适合面向海量数据的检索查询应用。主要功能包括：1.建立索引与搜索Ø在 GBase 8a MPP Cluster 中内嵌全文检索引擎，支持表中所有文本类型字段的索引与查询。Ø支持参数化管理，索引建立、分词、索引维护、搜索等过程均可以通过 GBa...

2022-01-25 10:50:20 93

原创 GBase 8a MPP Cluster 产品支撑的平台

1.硬件环境支持如下的硬件环境：1)支持服务器平台：x86_64 的标准 PC 服务器、PowerLinux 服务器、浪潮K1等；2)支持存储：本地存储（SATA、SAS、SSD 等）、阵列存储（SAN、NAS）、SSD、Flash 卡；3)支持网络环境：千兆、万兆、InfiniBand。2.操作系统和平台支持如下的操作系统和平台：1)支持的CPU：Intel、AMD、申威、龙芯3B、飞腾、X86、Power 等；...

2022-01-25 10:46:10 715

原创 GBase 8a MPP Cluster 开发接口

1.GBase 8a MPP Cluster ODBCGBase 8a MPP Cluster ODBC是GBase 8a MPP Cluster的 ODBC 驱动程序，它提供了访问 GBase 8a MPP Cluster 的所有 ODBC 功能。GBase 8a MPP Cluster ODBC 支持 ODBC 3.5X 一级规范（全部 API + 2 级特性）。用户可以通过 ODBC 数据源管理器调用 GBase 8a MPP Cluster ODBC 驱动访问 GBase 8a MPP C...

2022-01-25 10:41:58 97

DAISER的博客