- 博客(36)
- 收藏
- 关注
RSS订阅
1原创 GBase 8a 统计数据平台监控系统GCmonitor SNMP Trap功能配置文档
GBase 8a 统计数据平台监控系统GCmonitor SNMP Trap功能配置文档
2022-10-31 14:13:23
331
原创 GBase 8a增加列时报Column cannot be null或 doesn’t have a default value错误
GBase 8a增加列时报Column cannot be null或 doesn’t have a default value错误
2022-10-31 11:37:26
522
原创 GBase 8a的SQL重试功能测试，gcluster_query_retry参数介绍
GBase 8a的SQL重试功能测试，gcluster_query_retry参数介绍
2022-10-31 10:45:36
135
原创 GBase 8a 表同步一直完不成，同步强制锁表的参数解决同步一直追不上加载标题】
GBase 8a 表同步一直完不成，同步强制锁表的参数解决同步一直追不上加载
2022-09-03 21:40:58
333
原创 GBase 8a跨逻辑子集群的数据关联和数据交换
在实际业务中往往需要维护多套集群，而多套集群面临如下挑战：多个业务部门使用多套集群，难以统一管理：集群管理复杂：如用户、权限需要在多套集群环境中分别设置，无法集中查看各集群状态；多个集群间使用DBLINK在集群间交换数据，需要配置透明网关；通过资源管理能力进行资源的隔离；不能很好的满足用户多个业务间数据有关联、业务部门内数据又相对独立的统一管理和访问的需求。GBase 8a MPP Cluster的虚拟集群技术支持对集群数据库按照不同的业务划分为多个逻辑子集群，并在统一的协调节点下对..
2022-02-22 13:47:19
1522
原创 GBase 8a 逻辑子集群资源隔离
GBase 8a MPP Cluster可实现逻辑子集群资源的物理隔离和逻辑隔离。资源物理隔离：通过虚拟集群实现，支持粗粒度的资源划分（节点），可以实现多租户间的资源物理隔离，同时又能提供统一的管理管理，租户间可以实现数据共享；资源逻辑隔离：支持细粒度的资源划分（包括CPU、内存、磁盘空间、IO等资源），可以实现多租户间的资源逻辑隔离。可分两种资源池：静态资源池为多租户模式，保证资源隔离；动态资源池为单租户多用户模式，保证资源充分利用。...
2022-02-22 13:43:49
172
原创 GBase 8a产品可拓展性-逻辑子集群统一管理
GBase 8a MPP Cluster支持1000+节点的大物理集群下的多个逻辑子集群的统一管理，如连接入口、元数据和用户权限等。元数据统一管理：元数据是描述数据的数据，元数据可以称为是整个数据库集群系统的“灵魂”，基于元数据在整个集群系统的数据生命周期中的重要地位，规划建立统一元数据视图，实现多集群元数据的统一规范和统一管理，并提供元数据一致性服务，上级应用可通过此获取全局的元数据状态和信息。数据统一入口：调度管理集群作为各逻辑子集群的统一入口，调度管理集群节点的元数据系统表中存储了大集群中所有
2022-02-21 12:00:21
418
原创 GBase 8a 数据查询性能
GBase 8a MPP Cluster从单节点内部处理和集群处理层面都能够大幅提升海量数据的复杂关联查询性能。单节点内部高性能数据查询在单个节点上，GBase 8a MPP Cluster通过列存储、智能索引、自适应压缩等大大节约了单个SQL任务处理的I/O消耗，结合数据库引擎的自动优化技术实现在单个节点上的高性能海量数据复杂关联查询。GBase 8a MPP Cluster在节点内部，对数据库常用算子，如扫描、关联、分组聚合、排序等都实现了并行处理，充分利用了现代计算机的多核计算的SMP架构
2022-02-21 11:56:13
971
原创 GBase 8a并发支持性能
GBase 8a MPP Cluster从集群设计和节点内部设计的2个层面实现大并发的响应能力。在单个节点上，GBase 8a MPP Cluster可充分利用多核多线程资源并行计算，并通过列存储、智能索引、自适应压缩等大大节约了单个SQL任务处理的I/O消耗，从而增加可以同时执行的SQL任务数。进行对海量数据的查询时，I/O是性能的瓶颈，GBase 8a MPP Cluster通过上述一系列技术，大幅降低了I/O，提升了查询性能，提升并发能力。经测试单节点可支持大于100并发。GBase 8a M
2022-02-21 11:44:00
775
原创 GBase 8a高可用特性-镜像集群
虚拟集群的镜像功能有以下特点：镜像表数据是主表数据的实时备份，对主表的修改将实时同步到镜像表。高可用：主表有了镜像关系后，对于SELECT模块相当于主表多出了分片备份。SELECT模块可以利用多出的备份提升SELECT高可用能力。灾备：支持同城异地部署集群。确保机房断电、集群整体断电、重启、交换机损坏等重大故障时，数据的完整性和一致性。可提供集群极端异常情况下的集群高可用、高可靠保障。支持以库为单位创建、删除镜像关系。库下所有表都将创建镜像。库下所有函数、存储过程和视图都会同步在目标库下
2022-02-21 11:41:23
518
原创 GBase 8a 高可用特性- 支持双活集群部署
集群副本数和分片数可进行灵活配置，可配置副本分片到集群的任意一个节点上，可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。当节点出现异常时，可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。这样就最大限度防止由于故障切换后木桶效应而引起的显著的性能抖动。使单节点故障所引起的集群整体性能下降不超过50%。节点故障对应用透明，不会中断正在执行业务，一旦故障结点恢复正常，GBase 8a MPP Cluster会从其他节点上的数据恢复该节点数据，在完成更新后立即提供服务。
2022-02-21 11:37:57
498
原创 GBase 8a 高可用特性-组网全冗余部署
GBase 8a MPP Cluster支持组网全冗余部署，任何网络节点故障，故障自动检测并自动切换，仍可对外提供服务，不中断当前业务。网络故障可以分成节点上网卡故障以及交换机故障的两种类型。对于网卡故障，GBase 8a MPP Cluster支持在各个节点上进行双万兆网卡的绑定(binding)，这样即使节点上1个网卡出现故障，仍能保证网卡切换后的网络通信畅通。此时GBase 8a MPP Cluster内的GCware组件可以自动完成对故障节点上网卡故障的监视和连接重试，连接重试时可以通过底层
2022-02-21 11:33:46
482
原创 GBase 8a 高可用特性-故障检测切换
GBase 8a MPP Cluster的采用联邦架构，协调节点和计算存储节点均构成高可用集群，在单个服务器节点，无论是协调节点还是计算存储节点，磁盘故障或服务器节点故障时，集群会自动故障检测切换，不需人工干预,元数据和数据自动进行恢复，实现业务不中断，不影响对外服务，保障节点故障场景下无单点失败风险。在集群中某一协调节点发生节点故障时，GCware首先会检测到该节点上的故障，并将这一故障状态通知给集群内其他协调节点，此时GCware会协调这个节点从集群成员中离开并调整集群构成的元数据信息更新。当节点故
2022-02-21 11:28:51
206
原创 GBase 8a高可用-在线冗余
GBase 8a MPP Cluster通过数据在线冗余机制来保证集群的高可用特性，可提供双份数据存储，节点故障后持续运行且不存在单点故障风险。GBase 8a MPP Cluster的在线冗余机制具有如下特点：可提供 1 个或 2 个副本数据冗余，即2份或3份数据存储；数据副本间数据自动同步；复制引擎自动管理数据同步；灵活的数据副本分布方式。 图：副本在线冗余示意图...
2022-02-21 11:23:34
110
原创 GBase 8a 产品高可用性-高可靠
GBase 8a MPP Cluster采用分布式联邦架构，协调节点和计算存储节点均构成高可用集群，协调节点集群中每个节点都保存有一致的元数据，计算存储节点集群采用多副本数据冗余机制，不存在单一的主节点结构，具有高可靠性，保证不存在单点故障，当任何单个软件、操作系统、硬件故障导致宕机失效之后，系统仍然能够继续保持工作，并确保数据不丢失。...
2022-02-21 11:18:24
378
原创 GBase 8a技术特性-集群架构
GBase 8a MPP Cluster采用 MPP + Shared Nothing 的分布式联邦架构，具有良好的扩展性，采用多活协调节点、运算节点的两级部署结构，无特定主节点，以避免单点故障和单点性能瓶颈。其所有组件（例如事务管理器、协调服务等）具备Active-Active多活能力。GBase 8a MPP Cluster支持通用X86架构服务器部署。图：分布式联邦架构示意图GBase 8a MPP Cluster产品总共包含三大核心组件——GCware、GCluster和GNode，GC
2022-02-21 11:15:42
1811
原创 GBase 8a组网配置建议
增加级联绑定由于本项目采用大规模集群数据库系统软件，各节点间的数据通信频繁，因此建立在内部组网时，万兆交换机之间采用级联的方式，以提升网络吞吐量，从而提高更大的端口密度和更高的性能。交换机进行级联时，应该尽力保证交换机间中继链路具有足够的带宽，为此可采用多工技术和链路汇聚技术。交换机端口采用多工技术后，不但相应端口的吞吐量加倍，而且交换机间中继距离大大增加。链路汇聚也叫端口汇聚、端口捆绑、链路扩容组合，由IEEE802.3ad标准定义。即两台设备之间通过两个以上的同种类型的端口并行连接，同时传输数据，以便
2022-02-14 17:20:00
78
原创 GBase 8a 网络部署方案建议-网络拓扑
协调结点 如上图所示：GBase 8a MPP Cluster采用Shared Nothing架构和MPP技术，由管理节点和数据节点组成。每个节点有2块万兆网卡，万兆网卡间绑定，保障网卡高可用，两张网卡分别与主备万兆交换机连接，从而实现交换机环节的高可用。应用平台通过千兆网络连接访问集群。（1）45台服务器部署于3个机柜内（如果机柜电源供应不满足的话也可以4个机柜）；（2）每个机柜配备2台接入交换机实...
2022-02-14 17:16:43
837
原创 GBase 8a 服务器节点设置推荐- 网络
集群节点配置千兆和万兆网络IP地址（千兆连接办公网，万兆用于集群内部数据交换）万兆、千兆网络均需采用双网卡绑定，绑定模式为主备模式（mode=1），网卡绑定必须设置成开机自动生效的。...
2022-02-14 17:04:46
1040
原创 GBase 8a 服务器节点设置推荐 -操作系统
为发挥GBase 8a集群的最佳性能，部署时需对操作系统的部分参数做一些调整修改，详细设置如下表： 参数项 设置值 含义 vm.vfs_cache_pressure 1024 表示内核回收用于directory和inode cache内存的倾向，默认值为100，增加该值超过100，将导致内核倾向于回收directory和inode cache；集群服务器设置此操作系统参数为1024，使操作系
2022-02-14 17:00:55
395
原创 GBase 8a 服务器节点设置推荐 -硬盘
操作系统盘与集群数据盘分开独立划分RAID，防止操作系统损坏对数据的影响，系统盘采用RAID1，数据盘采用RAID50，具体划分策略如下表： 用途 磁盘划分 目录 文件系统格式 大小 目录含义 备注 操作系统盘 两块盘RAID1 / XFS 约600GB（以盘的
2022-02-14 16:56:58
687
原创 GBase 8a软硬件需求估算-协调节点服务器配置说明(三）
协调节点部署分布式任务协调调度层组件GCluster，负责SQL的解析、SQL的优化、分布式执行计划生成、执行调度，管理元数据。协调节点生成执行计划后下发给各计算节点进行计算，为保证协调节点之间元数据信息同步的高效性，以及协调节点与数据节点之间任务分发的高效性，协调节点之间、协调节点与计算节点之间必须使用万兆网络进行连接。协调节点服务器的数量配置为单数，根据数据节点的数量进行配置。...
2022-02-14 16:52:36
469
原创 GBase 8a软硬件需求估算-数据节点服务器配置估算(二）
对于基于GBase 8a MPP Cluster分布式数据库集群系统，其物理磁盘容量的计算方法为：最小磁盘空间需求MDSR (Minimum Disk Space Requirements) = 原始数据×数据库及相关工作空间因子×副本选项因子×操作系统因子×RAID因子×数据库压缩因子。最小磁盘空间需求MDSR除以每台服务器的存储空间，就能得到数据节点服务器的数量。 膨胀因子 因子值 说明 数据库及相关工作空间因子
2022-02-14 16:48:46
943
原创 GBase 8a 软硬件需求估算- 配置计算原则(1)
对于MPP数据库集群，充分考虑OLAP分析型处理场景的特征，作为配置策略，配置主体依存于所处理的数据总量，而非OLTP在线交易类场景的TPMC等指标。依托数据库厂商积累的实际案例经验，在项目实施中合理规划硬件资源与处理数据量之间比例关系，确保最佳得发挥所购设备的各项技术性能。硬件配置估算的过程立足海量数据分析、数据仓库类应用场景，同时严格平衡资源需求与性能指标之间的关系，此外还参考了GBase 8a MPP Cluster在金融、电信等行业其它类似案例中的实际工程经验。一般类大数据平台MPP数据库建
2022-02-14 16:40:32
1293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人