Freddie0129-CSDN博客

原创 GBase 8a在使用kafka consumer数据同步功能使用中的状态查询

l Exception：最后一次出现错误时的错误描述信息，异常包括：连不上kafka server、解析json消息出错以及详细的错误原因、目标表不存在、目标表列定义错误（列名、列数量、列顺序）、在集群层处理数据同步的时候发生错误、发给单机执行单机报错、提交错误。l Min_offset：当前kafka队列里的最小offset，如果成功连接到了kafka server，这个字段是实际值，否则是0；l Commit_offset: 8A最后一次执行commit操作时，对应的消息的offset；

2022-11-03 14:46:46 775 2

原创 GBase 8a在使用kafka consumer数据同步功能使用中的参数配置

l gcluster_kafka_max_message_size，从kafka topic获得消息的最大长度，单位为字节，最大值1000000000字节，这个值需要大于等于kafka server的配置（message.max.bytes），否则可能造成消费问题，即，如果kafka队列中存在一条消息，其大小超过gcluster_kafka_max_message_size就会造成消费卡住。l gbase_tx_log_flush_time，单机内存数据刷新频率，单位为秒。

2022-11-03 14:43:09 483

原创 GBase 8a集群安装Kerberos认证的影响

集群节点替换工具在同步文件时，需要将/opt/gcluster/config或/opt/gnode/config下扩展名为.kt和.pem/.crt/.cer/.crl的文件同步到被替换节点。从不支持kerberos认证的集群版本升级到支持Kerberos的集群版本，管理员需要执行Kerberos客户端安装与配置，手工完成Kerberos客户端环境部署。支持Kerberos认证的集群版本在执行扩容后，管理员需要执行Kerberos客户端安装与配置，手工完成Kerberos客户端环境部署。

2022-11-03 14:39:47 283

原创 GBase 8a加载/导出Kerberos认证下HDFS文件

l 当不指定gbase_hdfs_keytab参数值或指定的参数值为空字符串时，将使用gbase_hdfs_principal推定keytab文件名，此时应将keytab文件复制到config目录下，keytab文件的名称应与gbase_hdfs_principal参数值对应，请参考《GBase 8a MPP Cluster配置手册》。HDFS中集成了Kerberos安全认证情况下，GBase 8a集群节点部署Kerberos客户端后，即可以执行加载或导出Kerberos认证下的HDFS文件。

2022-11-03 14:37:02 425

原创 GBase 8a中的Kerberos认证机制

这里讲的只是Kerberos认证机制的基本概述。Hadoop 1.0.0以上版本加入了Kerberos认证机制，Kerberos实现了机器级别的安全认证。kerberos是一种网络认证协议，是可信任的第三方认证服务。Hadoop集群运行时，集群内的节点使用密钥得到认证，只有通过认证的节点才能正常使用。针对在HDFS中集成了Kerberos安全认证的系统，需要在所有GBase 8a集群节点部署了Kerberos客户端安装包，并正确配置Kerberos客户端环境，才能在加载和导出时使用HDFS文件。

2022-11-03 14:15:32 627

原创 GBase 8a的产品简介

一般来说，在实际项目中，首先需要考虑的就是硬件设备的物理部署，一般包括，机柜，电源，主机，硬盘，网卡，交换机等物理设备，另外，物理设备之间的通讯，也需要依靠网络的部署。在上图中，包含两个机柜（机柜的电源要保证各自独立供电），机柜中摆放GBase 8a MPP Cluster产品的节点主机和应用服务器，他们之间的网络通过交换机进行通讯，为了保证网络的高效运行，实际项目中的业务网络也需要连接到这两个互备的交换机上。l 电源的高可用：两个机柜的电源是独立的，互不影响的，这样遵循了主机供电高可用的原则；

2022-10-10 15:09:34 1673

原创 GBase 8a的全文检索功能

GBase 8a MPP Cluster数据库支持全文检索，由于默认采用全单字索引方式，支持几乎所有的语种，并且可以保证100%的查询召回率。结合GBase 8a MPP Cluster独特的列存储，压缩和智能索引技术，适合面向海量数据的检索查询应用。l 在GBase 8a MPP Cluster中内嵌文本切分器功能，以实现对文本列、搜索串的。l 支持全文索引同步查询，在创建索引过程中可实现查询功能。l 支持数据库表在建立全文索引列被删除后，索引的自动失效。l 支持数据库表重新命名后，索引不失效。

2022-10-10 15:06:45 187

原创 GBase8a 数据加密技术介绍

GBase 8a MPP Cluster数据加密是提供对数据库落地数据的软加密功能，用来满足用户的安全需求，提高系统的安全性。l 支持密钥证书管理：包括密钥证书的创建、打开、关闭、口令修改、密钥转换。l 支持密钥类型转换，即从明文密钥转换到密文密钥，或从密文密钥转换到明文。• 密文密钥：须用户输入口令，根据口令对随机生成的密钥加密存储；• 加密访问（用户口令权限用户打开密钥，密钥使用）• 加密存储（用户口令数据密钥本身加密存储）l 支持表级或者列级不同粒度的加密要求；

2022-10-10 15:04:33 218

原创虚拟机群及镜像集群讲解

开发，一个集群中包含多个VC。虚拟集群提供统一的访问入口（能够实现对仓库和集市的统一访问入口），应用对多个物理集群的访问对应用是透明的，对应用来说就是一个统一的集群。虚拟集群提供统一的访问入口（能够实现对仓库和集市的统一访问入口），应用对多个物理集群的访问对应用是透明的，对应用来说就是一个统一的集群。在集群内部进行虚拟集群划分，在增强集群的扩展能力同时，提供统一的管理视图，集群可以达到千节点规模。在集群内部进行虚拟集群划分，在增强集群的扩展能力同时，提供统一的管理视图，集群可以达到千节点规模。

2022-10-10 14:46:12 476

原创 GBase 8a MPP Cluster产品架构介绍

系统中的每一个节点都是相对独立的、自给的，整个系统中不存在单点瓶颈，具有非常强的扩展性。l 除了以上核心组件外，还有GCMonit组件，用于定期监测GBase 8a MPP Cluster服务程序的运行状态, 一旦发现某个服务程序的进程状态发生变化，就会根据配置文件中的内容来执行相应的服务启停脚本命令，从而保证服务程序健康运行。GCWare用于各节点GCluster实例间共享信息(包括集群结构，节点状态，节点资源状态等信息)，以及控制多副本数据操作时，提供可操作节点，控制各节点数据一致性状态。

2022-10-10 14:24:43 230

原创 GBase 8s可用数据库列表

可用数据库列表中的第一个数据库将突出显示，同时显示数据库服务器的名称。列表按数据库服务器的字母顺序排列，然后按每个数据库服务器的数据库字母顺序排列。在“选择数据库”屏幕上最多可以显示 512 个数据库名称。重要：在“选择数据库”屏幕中，数据库名限制为 18 个字符。◼ 如果您使用一个数据库服务器，那么 DB-Access 会显示当前数据库服务器上和 DBPATH 设置中所有数据库的名称。◼ 如果存在当前显式连接，那么将显示属于当前数据库服务器的 DBPATH 设置中的所有数据库。

2022-09-09 16:43:59 532

原创 GBase 8s重定向查询结果

SELECT 语句的输出通常显示在屏幕上。您可以使用 SQL 菜单上的“输出”选项将查询结果路由到打印机，将其存储在系统文件中，或将其通过管道输送到程序。“输出”选项产生的结果与 SQL 的 OUTPUT 语句的结果相同。DB-Access 将结果发送到缺省打印机，并在屏幕的底部显示一条指示检索行数的消息。⚫ 将查询结果发送到管道。⚫ 将查询结果写入新文件，或将结果追加到现有文件。如果 DB-Access 提示您输入文件名时，您未指定路径，那么文件将存储在启动 DB-Access 时所在的目录中。

2022-09-09 16:41:35 206

原创 GBase 8s SQL 编辑器

虽然您可能会受到系统内存约束或最大 SQL 语句大小 64 KB 的限制，但是不会受到屏幕大小的限制。如果未使用“保存”选项来保存输入的语句，那么选择清除 SQL 编辑器的选项（例如“新建”或“选择”）时，将删除这些语句。⚫ 如果在新的命令文件中输入字符，从而使行扩展到第 80 列之外，那么 DB-Access 覆盖第 80 列中的所有字符。⚫ 如果选择的现有命令文件中一行的字符扩展到第 80 列之外，那么 DB-Access 在第 80 列中显示百分比符号（%）来指示溢出。注释指示符跨越整行。

2022-09-09 16:38:29 338

原创 GBase 8s 服务器 DB-Access 实用程序的需求

如果 DB-Access 无法根据 GBASEDBTTERM 设置来初始化菜单，那么 DB-Access 将尝试使用其他设置。例如，如果 DB-Access 无法使用 terminfo 目录初始化菜单，那么 DB-Access 将使用 termcap 文件来启动菜单。DBDATE 指定 DATE 值的用户格式。如果使用 IFX_LONGID 环境变量来支持最多 128 字节的 SQL 标识，那么 DB-Access 的某些错误、警告或其他消息可能会截断在标识中包含多于 18 个字节的数据库对象名称。

2022-09-09 16:00:41 393

原创 GBase 8s V8.8DB Access用户手册简介

由给定地域和编码中语言使用的与数字数据、货币、日期和时间的字符集、整理和表示法相关的所有信息都集中在称为 Global Language Support (GLS) 语言环境的单个环境中。本出版物中的示例在编写时假设您使用以下某种语言环境：UNIX™ 平台上的 en_us.8859-1 (ISO 8859-1)。如果您将 DB-Access 用于不同版本的数据库服务器，那么您将可能获得不一致的结果，例如：当您将不支持长标识的版本与支持长标识的版本一起使用时。1.2 关于语言环境的假设。

2022-09-09 15:45:54 340

原创 GBase 8d 的性能优化支持

用户可以根据目录服务器运行的硬件环境、网络环境和用户使用状况，调整以下参数，达到目录服务器的最优响应。这些参数主要将对目录服务器的运行特性发生影响，并不会改变数据的物理存储。增加此值将占用更多的内存和硬盘空间，但将增加性能。u idletimeout：指定强制关闭一个空闲的客户连接之前需等待的秒数。缺省为为 0，即不使用本特性。u timelimit：指明目录服务器用于应答一个请求的最大秒数。u sizelimit：指明一个查询操作的最大返回条目数。u cachesize：指定内存缓冲的条目数量。.

2022-08-25 17:45:28 234

原创 GBase 8d Client 对数据管理的支持

南大通用目录服务系统客户端 (GBase 8d Client)是根据 LDAP 轻型目录访问协议而开发的通用目录客户端软件，是针对目录管理员和目录应用开发人员而开发的，它是一个通用的 LDAP 客户端软件，可以访问符合 LDAP 标准的目录服务器 GBase 8d Server。u 目录操作特性：包括打开连接、断开连接、条目操作、属性操作、属性值操作，修改 RDN，删除子树等。u 连接信息管理：包括连接名的添加、连接名的修改，连接名的删除。u 具有增强的目录更新功能（添加、删除、修改）。...

2022-08-25 17:44:44 227

原创 GBase 8d 目录服务器安全特性

允许为目录中的信息设置访问权限，系统可以根据 LDAP 身份认证信息为用户或用户组授予相应的访问权限。管理的粒度可达到条目/属性级，可通过限制 IP 或域来控制允许访问目录服务器的客户机。u 提供基于用户名和密码的简单身份认证。作为密码明文存储的替代，通过管理工具和密码修改扩展操作，可将超级用户和普通用户的密码。u 通过简单认证和基于数字证书提供增强的身份认证服务,提供信息的保密性和完整性保护。TLS/SSL 机制为目录服务器和客户端之间的信息传输提供安全通道。加密存储，防止密码泄漏。...

2022-08-25 17:40:54 1383

原创 GBase 8d 的特性

u 在其它的目录服务产品之上开发的目录服务应用产品，也可以在LDAP V3 标准的接口一致性下，无缝地切换成 GBase 8d 目录服务器；u 支持 LDAP 的引用（referral）功能，使用此功能，可以对在地理上分布在不同地点的目录服务器信息，在逻辑上按照统一的整体来访问。u 支持 Schema 的扩展，可实现用户自定义 Schema 文件的载入，用户自定义对象类和属性的加入；u 支持 SSL 和 TLS 实现的安全通道，实现信息传递的私密性保护，满足高安全性的需要。访问粒度可精确到属性；

2022-08-25 17:38:28 305

原创 1.2 GBase 8d 目录服务产品线构架

目录服务应用是面向具体用户需求，满足通用性用户业务和管理需要的以目录服务技术为核心的平台软件。这类平台软件南大通用主要提供解决方案和开发控件支持，由 LDAP 应用开发商为客户提供产品或定制化服务。GBase 8d 是南大通用目录服务产品线的核心和基础，其主要由 LDAP Server 和 Slurpd （镜像复制）Server 以及相关的管理软件和应用开发套件构。GBase 8d 目录服务产品从核心的目录服务器管理软件，已经发展成为目录服务核心产品、目录服务中间件产品、目录服务应用产品系列。

2022-08-25 17:29:46 396

原创 Gbase8c多部署方式介绍

随着虚拟化和云计算技术的不断深入应用，业务上云成了 IT 架构发展的趋势，进而对数据库的云上部署能力提出了要求。GBase 8c 支持物理服务器部署、虚拟机部署、容器部署、云上裸金属服务器部署、私有云部署、公有云部署等多种部署方式，为不同 IT 架构下的数据库部署提供了多种选择。1. 物理服务器部署：传统的部署方式，适合对数据库资源需要物理隔离，IT架构尚未云化的客户。2. 虚拟机/容器部署：对于希望采用虚拟化部署，但 IT 架构尚未云化的客户可以使用容器来部署 GBase 8c。3. 云上裸金属部署

2022-07-01 15:56:01 281

原创 Gbase8c多场景的高可用方案

GBase 8c 采用 shared noting 架构和多数据副本机制，满足各种应用场景下对数据库不同的高可用需求。1. 同机房容灾：采用同机房主从互备方案，可以抵御硬件级别故障，不能抵御城市级别和机房级别灾难。故障自动切换，RPO=0，RTO 秒级。2. 同城容灾：采用同城主从互备方案，可以抵御硬件级别故障和机房级别灾难，不能抵御城市级别灾难。故障自动切换，RPO=0，RTO 秒级。3. 异地多活容灾：采用异地主从互备方案，可以抵御硬件级别故障和机房级别、城市级别灾难。故障自动切换，RPO=0，R

2022-07-01 15:51:01 421

原创 Gbase8c安全特性介绍

GBase 8c 具有完备的安全特性，包括身份认证和鉴别、数据透明加密、三权分立、安全审计等。1. 身份认证和鉴别：在 GBase 8c 中，每个数据库用户都有一个不可重复的唯一性用户标识，并在数据库整个生命周期实现该用户标识的唯一性。用户在使用数据库时必须首先给出用户标识，通过检验合格后才能进入使用。数据库用户的密码使用加密算法处理后存储在 GBase 8c 的系统表中，密码加密后不可逆，从而保证了密码自身的安全性。2. 数据透明加密：GBase 8c 的数据存储加密采用库内加密的方式，在数据库内核

2022-07-01 15:41:09 240

原创 Gbase8c事务状态保持技术介绍

GBase 8c 具备事务状态保持能力，任意协调器节点（CN）宕机后，都不影响该节点正在进行的事务状态，事务可以在另一接管 CN 节点上继续顺利运行，从而保证数据库处理能力。如上图所示两阶段提交事务处理过程中：1、CN2 节点正常下发事务 Prepare 状态；2、三个 DN 节点正常返回事务 Prepare OK 状态；3、CN2 节点正常下发事务 Commit 状态；4、DN1 节点返回 Commit OK 状态且 DN2、DN3 还未完成 Commit OK 状态提交时，CN2 节点宕机；5、此时 C

2022-07-01 15:36:55 281

原创 GBase8c产品架构介绍

GBase 8c 采用 shared nothing 的分布式架构，计算节点和存储节点分离，节点间通过高速网络进行通信，所有节点都有主从互备，确保系统的高可用性。由于没有资源共享，增加节点就可以线性地扩展集群的存储能力和计算能力，满足业务规模增长的要求。GBase 8c 的节点分为三类，分别是协调器（Coordinator,CN）、数据节点（Data Node,DN）和全局事务管理器（Global Transaction Manager,GTM）。协调器：协调器管理和客户端的连接，对客户端发来的 SQL

2022-07-01 15:31:05 122

原创 Gbase8s中rmdistribution命令

语法：gcadmin rmdistribution [ID]ID：distribution id。功能：从集群中删除指定id的distribution。若不输入distribution id，则默认删除旧的distribution，集群中只有一个distribution时则默认删除该distribution。注1：若nodedatamap中有要删除的distribution ID，即该distribution为正在使用，则无法删除该distribution，gcadmin将报错退出。待删除的distribu

2022-06-02 16:36:44 210

原创 Gbase8s中的distribution介绍

语法：gcadmin distribution [db_root_pwd password]功能：安装完集群，生成distribution时，需要使用该命令进行操作,目前8smpp一个节点上，不分主从，只能放置一个分片。注：此命令需要切换到dbaUser用户下，才能正确执行。若使用其它用户执行生成distribution命令，将提示用户切换到dbaUser用户执行该命令，并报错退出。gcChangeInfo.xml:生成distribution的gnode节点信息文件。

2022-06-02 16:34:46 337

原创 Gbase8s集群审计日志简介

审计日志最重要的作用，就是用于监控SQL执行性能，当一些SQL语句的执行用时大于long_query_time设定值的时候，审计日志便将这些SQL语句记录下来，方便用户针对这些执行效率低下的SQL语句进行分析，优化，改写，从而提高SQL语句的执行效率。审计日志记录的主要内容如下：其中sql_command的取值范围为：INSERT、DELETE、UPDATE、LOAD、CREATE USER、CREATE DB、CREATE TABLE、CREATE VIEW、CREATE INDEX、CREATE PRO

2022-06-02 16:28:48 207

空空如也

空空如也