- 博客(56)
- 收藏
- 关注
RSS订阅原创 走进GBase 8a之文档阅读约定
符号约定 在本文中可能出现下列标志，它们所代表的含义如下： 表 1-3 符号约定 通用格式约定 表 1-4 通用格式约定 命令行格式约定 表 1-5 命令行格式约定 图形界面元素引用约定 表 1-6 图形界面元素引用约定 ...
2022-04-08 15:51:43
242
原创 走进GBase 8a之文档结构
GBase 8a MPP Cluster 产品手册由以下几部分组成： 描述类章节：基于各种维度提供产品的描述类信息； 过程类章节：在操作和维护方面提供说明； 参考类章节：在操作的过程中需要参考信息时提供附加的信息。 表 1-2 文档组成 ...
2022-04-08 15:39:31
258
原创 走进GBase 8a之简介
本系列文章旨在通过介绍GBase 8a的基本功能增进大家对GBASE南大通用分布式并行数据库群产品的了解。本章对 GBase 8a MPP Cluster 产品手册的文档约定、文档阅读约定、文档的获取等 信息进行描述。 1.1 文档约定 1.2 文档阅读约定 1.3 获取和更新文档 1.4 意见反馈读者对象 本文档主要适用于以下工程师： 规划工程师 安装工程师 实施工程师 技术支持工程师 运维工程师 软件开发工程师...
2022-04-08 15:36:34
1503
原创 走进GBase 8s之数据同步工具（4）
存量增量数据无缝集成：支持源库不停机模式的存量数据和增量数据的无缝集成。高可用：所有组件均支持高可用部署方式以及故障后的自动断点自动恢复恢复后保证数据一致性。增量数据缓存：在目标库失效的场景下，增量数据库支持在消息中间件中暂存，在消息中间件磁盘容量允许的前提下，可以实现30天以上的增量数据缓存。异地数据中心支持：支持跨千公里的异地跨中心的点对点以及一对多数据同步。支持跨网闸增量数据同步：支持基于文件摆渡形式的跨网闸数据增量同步。支持增量数据文件落地；支持文件通过网闸搬运。源库零入侵：不需
2022-04-08 14:12:52
155
原创 走进GBase 8s之数据同步工具（3）
GBase 8s的RTSync组件基于数据库逻辑日志的实现同构数据库和异构数据库的增量准实时同步模块，能够实现GBase 8s 到 GBase 8s、GBase xdm、kafka、文件等数据的增量准实时同步。具备以下特性：实时性：RTSync通过流模式实现源数据库到目标数据库的实时数据同步，确保上层业务系统能够通过目标数据库获取实时业务数据； 灵活性：既支持独立部署，完成从源数据库到目标数据库的数据同步；也支持部署部分组件，完成从源数据库捕获增量数据到消息中间件的功能，并实现与第三方同步系统的集
2022-04-08 14:10:53
135
原创 走进GBase 8s之数据同步工具（2）
高可用：所有组件均支持高可用部署方式以及故障后的自动断点自动恢复恢复后保证数据一致性。 增量数据缓存：在目标库失效的场景下，增量数据库支持在消息中间件中暂存，在消息中间件磁盘容量允许的前提下，可以实现30天以上的增量数据缓存。 异地数据中心支持：支持跨千公里的异地跨中心的点对点以及一对多数据同步。 支持跨网闸增量数据同步：支持基于文件摆渡形式的跨网闸数据增量同步。支持增量数据文件落地；支持文件通过网闸搬运。 源库零入侵：不需要依赖数据库以外的其他任何软件及服务，不对客户源系统的数据模型依..
2022-04-08 14:09:18
141
原创 走进GBase 8s之数据同步工具（1）
事务型数据库之间增量数据同步 GBase 8s的RTSync组件基于数据库逻辑日志的实现同构数据库和异构数据库的增量准实时同步模块，能够实现GBase 8s 到 GBase 8s、GBase xdm、kafka、文件等数据的增量准实时同步。具备以下特性： 实时性：RTSync通过流模式实现源数据库到目标数据库的实时数据同步，确保上层业务系统能够通过目标数据库获取实时业务数据； 灵活性：既支持独立部署，完成从源数据库到目标数据库的数据同步；也支持部署部分组件，完成从源数据库捕获增量数据到消息..
2022-03-30 14:22:53
754
原创 走进GBase 8s之迁移能力
GBase 8s为由异构数据库无风险迁移到GBase 8s数据库提供全面解决方案，GBase 8s产品本身对各类迁移工具的完美支持，更进一步保障数据迁移成功率，提升数据迁移工作效率。GBase 8s对主流的数据库迁移工具支持如下：支持数据库结构迁移工具：MTK 支持数据迁移工具：Kettle 支持增量数据迁移工具：IBM CDC、Oracle Golden Gate、Informatica...
2022-03-30 14:21:54
342
原创 走进GBase 8s之接口管理工具（三）管理工具（3）
审计管理工具 审计管理工具主要提供给审计管理用户使用，用来设置审计对象、审计策略，并可以进行审计记录的综合查询分析。供审计管理员使用的审计操作可分为参数设置操作、浏览操作、修改删除操作和用户管理操作4个类别。GBase 8s审计管理工具...
2022-03-30 14:01:08
163
原创 走进GBase 8s之接口管理工具（三）管理工具（2）
监控工具GBase 8s监控工具包括监控网站，采集中心，采集代理三层；其中监控网站负责图形化监控的展示、告警、平台管理等功能，采集中心根据监控网站下发的策略负责数据采集的调度告警计算等；采集代理根据采集中心的调度进行监控指标的采集。GBase 8s 监控工具提供7*24小时实时监控，监控指标包括数据库的运行状态、节点状态、核心组件状态监控、运行关键参数、资源消耗、吞吐量、核心性能指标等，支持指标超过阀值告警。支持将监控指标提供给第三方系统，便于集成。...
2022-03-30 13:59:18
83
原创 走进GBase 8s之接口管理工具（三）管理工具
GBase 8s提供功能强大的、类型丰富的、易于使用的图形化管理工具帮助数据库管理员管理数据库。 企业管理工具 GBase 8s企业管理工具为用户提供了访问和管理数据库的功能。GBase 8s企业管理工具通过JDBC Driver和数据库间建立连接，数据库管理工具直接和数据库实例以JDBC的方式进行通讯。使用GBase 8s企业管理工具可以完成如下工作：查看和可视化管理数据库、表、视图、索引、存储过程、函数和触发器； 可视化备份、恢复数据库； 可视化查看本地日志； .
2022-03-30 13:58:26
1013
原创 走进GBase 8s之接口管理工具（二）开发语言及框架
开发语言GBase 8s支持多语言开发，包括：.NET、C、C++、C#、Java、PHP、Cobol、Perl、Python等。框架GBase 8s支持多种开发框架，包括：SqlAlchemy（python的ORM框架）、XORM(Go)、Hibernate、Mybatis、Activity、.NET EFCore等。...
2022-03-30 13:56:01
1129
原创 走进GBase 8s之接口管理工具（一）开发接口（2)
ADO.NETGBase 8s ADO.NET 是一个提供.NET应用程序与GBase数据库之间方便、高效、安全交互的接口程序，使用100%纯C#编写，并继承了Microsoft ADO.NET类。开发人员可以使用任何一种.NET开发语言（C#、VB.NET、F#）通过GBase ADO.NET操作GBase数据库，无需安装GBase数据库的客户端。 GCIGBase 8s GCI是GBase 8s数据库提供的兼容Oracle OCI的接口标准，应用可以通过调用GBase GCI.
2022-03-30 13:53:55
757
原创 走进GBase 8s之接口管理工具（一）开发接口（1)
ODBCGBase 8s ODBC是GBase 8s的ODBC驱动程序，它提供了访问 GBase 8s的所有ODBC功能。GBase ODBC支持ODBC 3.5X一级规范（全部API + 2级特性）。用户可以通过ODBC数据源管理器调用GBase ODBC驱动访问GBase 8s数据库或者直接调用GBase ODBC驱动访问 GBase 8s，另外通过可视化编程工具如C++ Builder、Visual Studio等也可以利用GBase ODBC访问。GBase ODBC支持所有GBa
2022-03-30 13:52:31
157
原创 走进GBase 8s之产品性能（六）高效的存储加密机制
GBase 8s 目前的存储加密由数据库内核在后端安全存储引擎中实现，对于合法用户来说完全透明，不影响合法数据库用户的前端操作，不存在功能损失；采用按数据页加密的方式，不仅易于实现且加解密效率高；物理存储密文态，内存缓存明文态的机制保证了数据检索的高效性，使加密对GBase 8s原有的高效检索机制几乎没有造成任何实质性影响，由于存储加密造成的性能下降不超过15%。...
2022-03-30 13:50:44
486
原创 走进GBase 8s之产品性能（五）高效的查询优化策略
GBase 8s采用了以有效利用索引为基础的基于代价的查询优化策略。查询子系统通过将输入的查询语句进行复杂的转换，形成不同的查询计划，然后基于系统的I/O、CPU和内存等资源的情况估算各种查询计划的执行代价并最终确定一个最优计划执行。...
2022-03-30 13:47:28
179
原创 走进GBase 8s之产品性能（四）可配置的、高效的内存管理策略
GBase 8s针对不同的数据库操作提供了多种缓存机制，主要包括数据缓冲区、查询缓冲区、键缓冲区、插入缓冲区等。这些缓冲区的配合使用可以对有限的系统内存进行有效的利用，从而大大提高系统性能。此外还可通过调整读缓冲区、顺序读缓冲区、排序缓冲区等来对系统性能进行微调。...
2022-03-29 11:03:52
313
原创 走进GBase 8s之产品性能（三）高效的事务并发控制和管理机制
GBase 8s在事务处理上采用以行级为主、表级为辅的锁技术来实现高效的事务处理。这些技术在保证事务ACID特征的前提下大大提高了事务的并发处理能力。GBase 8s通过对死锁监测，会自动检测一个事务的死锁并回滚一个或多个事务来防止死锁，并设法提取小的事务来进行回滚，从而降低由于回滚造成的大量磁盘刷新以提高性能。...
2022-03-29 10:59:45
552
原创 走进GBase 8s之产品性能（二）可配置的多工作者线程处理能力
GBase 8s系统允许用户配置工作者线程的数目，这些线程是整个系统公用的，不会专门属于某个数据库连接。无论任何原因造成的数据库操作被阻塞（如锁等待），那么相应的工作者线程将会立即被用于执行其他的数据库操作，而不会被阻塞。此外，对于单CPU和多CPU设备，系统会合理的进行线程对内存和数据等物理资源的共享使用，因此能达到很好的并发处理能力。...
2022-03-29 10:57:45
785
原创 走进GBase 8s之产品性能（一）高效的文件空间和磁盘管理
GBase 8s的目标是实现一个具有完善的事务处理能力的高性能的面向联机事务处理应用的安全数据库系统。因此，在保证系统安全性的前提下，还需要尽可能的提高数据库系统的性能，GBase 8s在实现上采用了如下几种机制来实现高性能：高效的文件空间和磁盘管理； 可配置的多工作者线程处理能力； 高效的事务并发控制和管理机制； 可配置的、高效的内存管理策略； 高效的查询优化策略； 透明存储加密机制。高效的文件空间和磁盘管理GBase 8s通过建立多个磁盘I/O线程模拟异步的磁盘 I/O来构建和读写数据
2022-03-29 10:56:45
91
原创 走进GBase 8s之高可用功能（三）灵活的高可用方案
GBase 8s的高可用方案可以支持组合使用，如：利用SSC+HAC同城灾备技术构建同城双活高可用架构，利用SSC+HAC异地灾备技术构建两地三中心高可用架构同城双活高可用为了达到企业核心业务系统对数据库高可用要求，GBase 8s结合SSC和同城HAC，打造同城双活高可用解决方案。该方案的总体架构如下图所示：本方案中，SSC采用一主、多备节点方式，HAC采用一主、一备节点方式，在同一机房内部署SSC，在百公里内的另一数据中心部署HAC，通过连接管理器实现故障切换。备节点.
2022-03-29 10:46:29
634
原创 走进GBase 8s之高可用功能（二）HAC灾备高可用
GBase 8s HAC（容灾高可用）采用基于数据库日志的增量数据同步技术实现节点高可用。根据灾备距离不同分为同城容灾高可用和异地灾备高可用。同城容灾高可用支持一主一从的部署方式，异地灾备高可用支持一主多备的部署方式。HAC主节点执行读写业务的同时，备节点可承担查询、报表等读业务。HAC具有安装简单、应用透明无感知、故障自动切换、无须额外付费等特点。 HAC主备节点状态一致性通过逻辑日志复制技术实现，因此要求主备服务器的数据库版本完全相同，主备服务器的硬件和操作系统版本尽量相同。使用时，H...
2022-03-29 10:43:49
536
原创 走进GBase 8s之高可用功能（一）共享存储高可用
GBase 8s SSC（共享存储高可用）采用共享磁盘方式实现计算节点高可用，数据仅存储一份，有效利用硬件资源，避免数据重复存储问题。SSC中各节点均能对外提供服务，适合写少读多，对读性能有线性扩展需求的场景，节点数最多16个。SSC具有安装简单、应用无感知、故障自动切换、低成本等特点。工作原理SSC主备节点状态一致性通过LSN同步+逻辑日志重放实现。SSC主节点接收业务请求，写逻辑日志，并将逻辑日志中与操作一一对应的LSN号发给各个备节点，从主节点接收到LSN号，从磁盘读取相应逻辑.
2022-03-29 10:40:54
555
原创 走进GBase 8s之分布式功能（九）分布式模式下的批量导入导出工具
GBase 8s分布式模式下提供数据的批量导入和导出工具，支持把csv文件或者符合GBase 8s要求格式的平面文件快速加载到分布式模式的GBase 8s数据库中。同时，GBase 8s分布式模式下提供数据的快速导出工具，把指定表的数据库导出为平面文件到本地，供其他应用使用。...
2022-03-29 10:36:00
604
原创 走进GBase 8s之分布式功能（八）在线扩容
GBase 8s分布式架构通过分片规则多版本方式实现在线扩容缩容。扩容过程如下：分片规则变更后保存历史版本； GCWare向GCluster同时返回全部版本的分片信息； 提供分片刷新工具，遍历历史分片规则，在所有HG上按表逐行将数据从历史分片迁移到新分片； 当历史分片数据全部迁移到新分片后（无法通过旧分片规则在HG上查询到数据），删除历史分片规则； 分片刷新工具对业务无影响，可随意中断，随时继续； 扩容服务器可立刻提供服务； 缩容服务器需要等待分片刷新工具将数据迁移完成后才能移除服务器。
2022-03-29 10:35:11
218
原创 走进GBase 8s之分布式功能（七）异地容灾
异地容灾即HG节点在远程存在备份，所有HG节点的异步备份节点承担查询、分析等次要业务场景。GBase 8s节点通过GBase 8s HAC高可用机制实现远程异步复制，支持多台HAC备机，进一步提高高可用性。...
2022-03-29 10:33:18
80
原创 走进GBase 8s之分布式功能（六）实时同步高可用
实时同步高可用即每个HG组内的存储节点实现双机高性能实时数据复制，实时同步高可用基于数据库逻辑日志复制技术，复制方式支持同步和异步两种模式。通过连接管理器实现主备机间互相接管，该模式下数据独立存储，主节点工作时，备节点可以提供查询、报表等读功能，实现负载均衡，辅节点下线无影响，主节点故障秒级切换。...
2022-03-22 17:37:36
765
原创 走进GBase 8s之分布式功能（五）共享存储高可用
共享存储的高可用架构即每个HG组内的存储节点采用共享存储结构，共用一份数据。HG内的主、辅节点均能接受请求，辅节点下线无影响，主节点故障秒级切换，保障严格事务。
2022-03-22 16:41:42
130
原创 走进GBase 8s之分布式功能（四）分布式查询
对于分布式查询，根据关联表类型的不同分为：复制表+复制表、复制表+分片表、分片表+分片表，数据落在相同HG上、分片表+分片表，数据落在不同HG上四种情况，详细查询原理如下：复制表+复制表应用发出查询SQL； GCluster解析SQL，计算出SQL涉及的表均为复制表； 向本HG发送SQL； 获得结果返回应用。这类查询不涉及数据移动，无临时计算结果，查询性能高，支持高并发，性能线性提升。复制表+分片表应用发出查询数据SQL； GCluster据查询条件..
2022-03-22 16:40:34
156
原创 走进GBase 8s之分布式功能（三）分布式事务
分布式事务，是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同节点之上。8s分布式架构通过GTM管理执行分布式事务，遵循XA标准，严格的两阶段提交，保证刚性事务，数据强一致。Begin； -- Transaction StartSelect id from t1 where id=1; -- 单节点查询Select * from t1, t2 where t1.id=t2.id;-- 跨节点查询insert into t1 values(1, “aaa”); -- 单.
2022-03-22 16:36:39
132
原创 走进GBase 8s之分布式功能（二）本地事务
本地事务即事务所涉及数据都在单个节点（HG组）上，而不会涉及多个节点（HG组）。此时，数据库会启动本地事务，不走两阶段提交过程，性能更高，并发度更高，满足用户高吞吐量要求。启动本地事务的判断条件：（1）系统根据应用下发的SQL判断分片是否落到单节点。（2）用户指定单节点。Begin /*+db.t1.id=1*/; -- 本地事务Select id from t1 where id=1; -- 单节点查询insert into t1 values(1, “aaa”); -- 单节点查
2022-03-18 17:58:45
120
原创 走进GBase 8s之分布式功能（一）数据分布策略
GBase 8s 分布式架构通过数据分布策略来提高并行计算能力。支持复制表、分布表。 复制表是指，每个节点上都复制一份，数据关联时在节点本地完成。分布表是指，一份数据根据某个键值水平拆分到不同的节点上。分布方式包括：随机方式和 Sharding 机制。透明数据分布，支持 RANGE、LIST、HASH。GBase 8s分布式架构通过数据分布策略来提高并行计算能力。RANGE：根据键值的范围来分布数据 LIST：根据键值的列表来分布数据 HASH：根据键值哈希值来分布数据...
2022-03-18 17:54:09
479
原创 走进GBase 8s之安全功能（八）用户权限三权分立
传统商业数据库通常定义一个超级管理员，该管理员具有至高无上的权力，可以操作任何的数据库功能，管理任何的数据，这便造成了特权用户缺少权力约束的安全隐患，这种系统机制存在的安全漏洞很难从应用的角度去规避。GBase 8s安全数据管理系统分权的基本安全思想是最小特权的授权原则，对一个主体（用户）仅赋予完成预定任务所必需的最小权限。基于该安全策略，把数据库管理系统的用户由原来单一的超级数据库管理员变成现在的三类角色：安全管理员、审计管理员、数据管理员。它们分别承担着不同的职责，并且期望它们三者之一应不能涉及其他
2022-03-18 17:45:53
4342
原创 走进GBase 8s之安全功能（七） 安全审计
GBase 8s 提供安全审计机制，对用户在数据库中的活动事件进行记录，该活动可能是修改或展示数据，或者是审计和安全策略的配置等。通过对这些活动的记录就可对可疑的活动进行分析。为便于独立审计，设有专门的审计员进行审计管理，审计员可利用专门的审计操作界面对审计事件进行选择，查阅有关审计数据，处理报警信号。...
2022-03-18 17:44:39
4599
原创 走进GBase 8s之安全功能（六） 客体重用
客体重用客体重用是指在计算机信息系统可信计算基的空闲存储客体空间中，对客体初始指定、分配或再分配一个主体之前，撤销该客体所含信息的所有授权。当主体获得对一个已被释放的客体的访问权时，当前主体不能获得原主体活动所产生的任何信息。客体重用功能可以防止重要的客体介质在重新分配给其他主体的时候产生信息泄漏。由GBase 8s系统自动实现，系统在每次对资源作分配后，将自动清除资源中包含的残留信息。这些资源包括内存单元及磁盘区域，从而避免了客体重用的安全隐患。内存单元：内存中不需要的信息将会被
2022-03-18 17:42:32
265
原创 走进GBase 8s之安全功能（五） 数据安全性
GBase 8s通过数据存储加密保证数据存储的安全性。GBase 8s的数据存储加密采用库内加密的方式，在数据库管理系统的内核存储引擎级进行数据加解密处理，从而对于合法用户来讲是完全透明的，因此也称为透明加密。现有存储加密包括如下技术特点：透明加密：存储加密由数据库内核在后端安全存储引擎中实现，对于合法用户来说完全透明，不影响合法数据库用户的前端操作，不存在功能损失；硬件加密：通过集成国家密码管理局审批的密码卡，为安全数据库提供高强度的加密函数及有效的密钥管理； PCI/PCI-E标...
2022-03-18 17:30:35
4301
原创 走进GBase 8s之安全功能（四）数据完整性
GBase 8s提供一系列强有力的方法来确保数据库的完整性。物理存储完整性保护GBase 8s的数据文件按照页方式进行存储，每个页为16KB，数据文件存储的示意图如下：每一个页数据的存储结构如下：Page Trailer存储了本页的校验码信息，当向页中写入数据时将页的校验码信息写到Page Trailer中；当从页中读取数据时，首先重新计算该页的校验码信息，然后和Page Trailer的校验码信息进行对比，如果不相等，说明此页的完整性信息被破坏了，如果相等，说明该页的数据.
2022-03-11 15:52:02
154
原创 走进GBase 8s之安全功能（二）安全标记与强制访问控制
安全标记GBase 8s中的主体（数据库用户）与客体（数据对象）均需标以敏感标记（简称标记），标记分为安全等级标记与范畴标记，等级标记是用正整数表示，而范畴标记则用集合表示。由负责强制访问控制管理的安全管理员创建全局等级与全局范畴，并利用所创建的等级与范畴标记系统中的主体（代理）和客体。强制访问控制（MAC）强制访问控制（MAC）功能提供客体（数据对象）在主体（数据库用户）之间共享的控制，与自主访问控制（DAC）不同的是，强制访问控制由安全管理员管理；自主访问控制尽管也作为系.
2022-03-11 15:46:51
2569
原创 走进GBase 8s之安全功能（二）自主访问控制
采用访问控制表访问方式以实现自主访问控制，即采用如下表所示的访问控制表。其中主体即为用户，客体包括基表、视图、列、存储过程、函数等，操作包括SELECT，INSERT，UPDATE，DELETE，ALTER、INDEX、REFERENCE，EXECUTE等。根据访问控制表，每个主体拥有一定操作权限，并可将权限授予（或收回）另一个主体，称为授权。当一个主体访问某个客体时，自主访问控制根据访问控制表检查，以确认主体对客体访问的操作是否在表中允许，若为允许操作，则访问为合法，否则为非法操作，.
2022-03-11 15:45:22
212
原创 走进GBase 8s之安全功能（一）身份鉴别功能
1.用户标识在GBase 8s中，每个数据库用户都有一个不可重复的唯一性用户标识，并在DBMS的整个生命周期实现该用户标识的唯一性。2.用户鉴别按照基本鉴别、不可伪造鉴别及一次性使用鉴别要求进行用户身份鉴别，用户在使用DBMS时必须首先给出用户标识，通过检验合格后才能进入使用DBMS。用户身份鉴别采用了用户密码及数据证书双重认证的鉴别机制。数据库用户的密码使用杂凑算法加密处理后存储在GBase 8s的系统表中，从而保证了密码自身的安全性。...
2022-03-11 11:17:12
1445
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人