- 博客(58)
- 收藏
- 关注
RSS订阅原创 配置 C3 工具时，修改/etc/host，再重新安装集群的时 候报错
更改/etc/hosts设置，在安装前只保留原始配置记录端口号和hostname即可，如第一行所以，其他的可以注释掉127.0.0.1station25.example.com#192.168.58.11station25.example.com#192.168.58.12station26.example.com
2022-05-31 15:46:45
174
原创 8a 集群为什么需要通过 RAID 来管理磁盘读写
8a 不支持裸设备，因此通过磁盘的 raid 和副本两种机制来保证高可用。 hdfs 基于裸设备，自己管理副本，因此不需要配置 raid 但只能通过副本一种机制来保证高可 用
2022-04-29 09:54:46
969
原创 Hadoop 和 GBase 8a 的区别
8a 保持关系型数据库特征，保证数据的完整性，但架构类似 Hadoop，因此称为 NewSQL； Hadoop 放弃关系模型，称为 NoSQL，主要面向互联网等非结构化数据的计算模型
2022-04-29 09:52:37
1590
原创 列举 OLTP 型数据库，8a 和 Hadoop 各自所对应的 数据特征
传统 OLTP：主要处理结构化数据，基于行操作，并发度高，热数据，数据量 TB 级别。 MPP：处理结构化数据，基于列集合操作，并发度适中，温数据，即席查询，分析逻辑复杂， 即席查询，数据量在 100TB-PB 级。 Hadoop：处理非结构化数据/半结构数据/结构化数据，批处理，PB 级以上，冷数据，全集 合数据，全表扫描，简单迭代...
2022-04-29 09:49:48
2133
原创 GBase8a数据排序优化
数据在按某查询列进行排序后，则相同数据取值会集中存放在有限的数据包中，因此在以该列进行过滤时，利用智能索引命中的数据包会很少，不仅能降低IO量而且会提高压缩比。其最大好处是可以将智能索引的过滤效果发挥到最优，从而使整体查询性能大幅提升。建议在实际应用场景许可的前提下，将数据按照查询常用条件列进行排序。如在电信行业中，通常按照手机号码进行查询，因此可按一定的时间间隔对数据按照手机号码进行排序，则在此时间范围内的手机号码有序，在进行查询时，便可通过智能索引特性提高查询性能。...
2022-03-29 09:48:44
268
原创 GBase8a分布列选取原则
优先考虑大表间的JOIN，尽量让大表JOIN条件的列为Hash分布列（相关子查询的相关JOIN也可以参考此原则），以使得大表间的JOIN可以直接下发到各节点分布式执行。其次考虑GROUPBY，尽量让GROUPBY带有Hash分布列，让分组聚合一步完成。当有多个join或group列可选择时，优先选择唯一值多（count(distinct)值大）的列做Hash分布列，让数据均匀分布。通常是等值查询的列，并且使用的频率很高的应考虑建立为hash分布...
2022-03-29 09:47:16
433
原创 GBase8a数据分布规划
GBase8aMPP集群性能取决于各个节点整体的性能，每个节点存储的数据量对于集群性能有很大影响，为了尽可能达到最好的性能，所有的数据节点应该尽量存储等量的数据，因此在数据库表规划定义阶段要考虑表是复制表还是分布表，以及对分布表上的某一些列设置为分布列进行hash分布。例如根据数据的分布特性设计，可以：1.将字典表或者维度表建成复制表的方式将数据存储到各个节点上，即不须对其数据进行分片存储。因为字典表的数据量相对较小，虽然在各个节点进行存储有一定的数据冗余，但和事实表的JOIN运算就...
2022-03-29 09:45:54
234
原创 如何查询GBase数据库中表的comment信息
1.通过showcreatetable方式获取表的创建语句，查找comment信息；2.查询information_schema.columns、information_schema.tables系统表，获取comment信息
2022-02-23 15:33:08
675
原创 GBase8a中tableid的位置、作用以及相关说明
tableid是表的id，唯一标识。只有建表语句会申请新的tableid，renametable后tableid不会变动。tableid可以通过information_schema.tables的table_id列查询，最大值也可以查到（使用max函数）。并发ddl时，有锁保护，不会引起不同的ddl得到同样的tableid...
2022-02-23 15:27:38
376
原创 GBase8a 集群是否支持跨网段部署
集群不支持跨网段部署，要求集群节点必须部署在同一个网段内；大规模集群版本支持跨网段的部署，但要求：（ 1 ） gcluster 子集群必须部署在同一个网段内；（ 2 ） gnode 子集群可以部暑在不同网段，但不同网段的节点间的网络应能互通...
2022-01-28 10:28:26
2343
原创 GBase 8a 集群修改 IP 地址操作步骤
集群修改 ip 地址后，为保证集群正常服务，需要相应修改 corosync 和 gcware 的配置文件，基本操作步骤如下：（ 1 ）确认集群状态（ 2 ）停止集群服务（ 3 ）修改集群节点 ip（ 4 ）修改 corosync 配置文件 /etc/corosync/ corosync.conf 中的 ip 地址信息（ 5 ）修改 gcware 配置文件 /var/lib/gcware/CIB.xml 中的 ip 地址和 node id 信息（ 6 ）启动集群服务...
2022-01-28 10:27:23
2420
原创 GBase 中gcware 之 python 接口使用方式
现在集群最新版中，清除日志的参数变为正则表达式。并提供三个接口：clearddlfevent(regex) 仅清理 DDL 相关日志cleardmlfevent(regex) 仅清理 DML 相关日志clearfevent(regex) 清理 DML 和 DDL 相关日志比如 gcadmin showdmlevent 得到：event count: ...event id: ...tablename: test.t.....regex 取值方法：如果想清理所有的日志，可以调用： cle
2022-01-28 10:23:41
2035
原创 GBase 数据库用户的最大连接数限制
GBase集群默认的单个节点的最大连接数为10000，可以通过max_connections参数进行设置（参数值范围1~655350）。
2021-12-28 14:17:52
873
原创 GBase 如何批量清空某数据库中部分表的数据？
编写一个存储过程来实现：dropprocedureifexiststruncate_tables;delimiter//CREATEPROCEDUREtruncate_tables(db_namevarchar(50))// 根据情况可以增加参数BEGINDECLAREdoneINTDEFAULT0;DECLAREtnamevarchar(50);DECLAREcur1CURSORFORSELECTtable_namefromINFORMATION_SCHEMA.TABLESWHEREtab
2021-12-28 14:17:01
272
原创 GBase 库中查询表的列信息
selectORDINAL_POSITION,rtrim(COLUMN_NAME),rtrim(DATA_TYPE) frominformation_schema.COLUMNS whereTABLE_SCHEMA=upper('asiainfo')andTABLE_NAME=upper('kpi_leader_all_36')orderbyORDINAL_POSITION
2021-12-28 14:14:05
702
原创 GBase8a自身的系统表是如何存放和调用的
这里的系统表就是元数据表。 GBase8a 的系统表存储于 gbase 数据库中，除少数几个表外为Express 引擎外，其它表都是 GsSYS 引擎。GBase8a 的系统表中保存了表的定义、列的定义、存储过程和自定义函数的定义、用户及权限的定义、系统事件的定义、相关日志信息等。GBase8a 集群的系统表中除了保存上述相关信息外，还保存了各个数据库中各个表的类型（复制表、分布表）信息。GBase8a 中系统表的调用时机和原则与其它关系型数据库中的系统表完全相同...
2021-10-29 15:32:01
197
原创 GBase8a子查询条件内推的优化机制的适用范围
内层子查询没有 groupby 、 start_with ， connectby ，没有 limit.内层子查询的 where 条件个根条件不能是 or 。内层子查询如果是 union ， union 的每个 select 对应的投影列的别名必须相同，如果不相同，只能内推第一个 select 、和第一个 select 投影列名称相同的 select...
2021-10-29 15:30:58
59
原创 GBase8a中tableid的位置、作用以及相关说明
tableid是表的id，唯一标识。只有建表语句会申请新的tableid，renametable后tableid不会变动。tableid可以通过information_schema.tables的table_id列查询，最大值也可以查到（使用max函数）。并发ddl时，有锁保护，不会引起不同的ddl得到同样的tableid。...
2021-10-29 15:25:48
45
原创 如何查询GBase数据库中表的comment信息
1.通过showcreatetable方式获取表的创建语句，查找comment信息；2.查询information_schema.columns、information_schema.tables系统表，获取comment信息；
2021-10-29 15:24:29
187
原创 GBase8a数据库中表的comment信息
1.通过showcreatetable方式获取表的创建语句，查找comment信息；2.查询information_schema.columns、information_schema.tables系统表，获取comment信息；
2021-09-28 09:59:11
247
原创 GBase8a中tableid的位置、作用以及相关说明
tableid是表的id，唯一标识。只有建表语句会申请新的tableid，renametable后tableid不会变动。tableid可以通过information_schema.tables的table_id列查询，最大值也可以查到（使用max函数）。并发ddl时，有锁保护，不会引起不同的ddl得到同样的tableid。...
2021-09-28 09:58:20
48
原创 GBase8a部署前环境一般检查
------------selinux[root@test01 sysconfig]# vi /etc/selinux/configreboot[root@test01 sysconfig]# sestatus----------防火墙[root@test01 sysconfig]# systemctl status firewalld.service[root@test01 sysconfig]# systemctl stop firewalld.service[r...
2021-09-28 09:57:18
77
原创 GBase8a子查询条件内推的优化机制的适用范围
内层子查询没有groupby、start_with，connectby，没有limit.内层子查询的where条件个根条件不能是or。内层子查询如果是union，union的每个select对应的投影列的别名必须相同，如果不相同，只能内推第一个select、和第一个select投影列名称相同的select...
2021-08-27 13:48:13
43
原创 GBase8a自身的系统表是如何存放和调用的
这里的系统表就是元数据表。GBase8a的系统表存储于gbase数据库中，除少数几个表外为Express引擎外，其它表都是GsSYS引擎。GBase8a的系统表中保存了表的定义、列的定义、存储过程和自定义函数的定义、用户及权限的定义、系统事件的定义、相关日志信息等。GBase8a集群的系统表中除了保存上述相关信息外，还保存了各个数据库中各个表的类型（复制表、分布表）信息。GBase8a中系统表的调用时机和原则与其它关系型数据库中的系统表完全相同...
2021-08-27 13:42:59
166
原创 tableid的位置、作用以及相关说明
tableid是表的id，唯一标识。只有建表语句会申请新的tableid，renametable后tableid不会变动。tableid可以通过information_schema.tables的table_id列查询，最大值也可以查到（使用max函数）。并发ddl时，有锁保护，不会引起不同的ddl得到同样的tableid...
2021-08-27 13:36:27
1656
原创 GBase8a如何查询集群节点当前连接数的 sql
查询集群节点当前连接数可用show status like'Threads_connected'实现。gbase> show status like'Threads_connected';
2021-08-02 16:22:28
115
原创 GBase 中gcware 之 python 接口使用方式
现在集群最新版中，清除日志的参数变为正则表达式。并提供三个接口：clearddlfevent(regex)仅清理DDL相关日志cleardmlfevent(regex)仅清理DML相关日志clearfevent(regex)清理DML和DDL相关日志比如gcadmin showdmlevent得到：event count: ...event id: ...tablename: test.t.....regex取值...
2021-08-02 16:16:43
106
原创 GBase8a使用系统表 information_schema.cluster_tables 统计 表占用空间大小
通过 information_schema.cluster_tables 表的 TABLE_DATA_SIZE 和 TABLE_STORAGE_SIZE 字段进 行统计。 TABLE_DATA_SIZE 是数据存储空间（主备分片之和）； TABLE_STORAGE_SIZE 是数据存储空间+元数据存储空间（主备分片之和）...
2021-05-31 15:04:30
1182
原创 GBase8a使用系统表统计表空间各目录大小
performance_schema.CLUSTER_DISK_USAGE_INFO 的统计走的是系统调用，通过系统函数 statfs 统计空间容量，而不是 du 命令。 执行步骤是： （1）查询 CLUSTER_DISK_USAGE_INFO 首先是将命令下发到各个节点，查询各个节点的 performance_schema.DISK_USAGE_INFO 表，然后向 gcluster 层汇总 （2）performance_schema.DISK_USAGE_INFO 表信息通过系统命令
2021-05-31 15:02:31
804
原创 GBase8a执行 rmt:select into outfile 远程导出需要的权限
数据库用户执行 rmt 远程导出需要具有 file 权限和导出表的 select 权限。
2021-05-31 15:00:58
793
原创 GBase8a如何查询集群节点当前连接数的 sql
查询集群节点当前连接数可用 show status like 'Threads_connected'实现。 gbase> show status like 'Threads_connected';
2021-04-22 10:08:20
474
原创 GBase8a如何获取集群中最少连接数的节点的 sql
SQL: show gcluster entry 返回信息： 单行两列信息，如下： gbase> show gcluster entry; +-----------------+------+ | IP | Port | +-----------------+------+ | 192.168.105.210 | 5258 | +-----------------+------+第 1 列是集群最少连接数节点的 IP 地址
2021-04-22 10:03:26
115
原创 GBase8a集群 gcluster 和 gnode 的默认端口 5258 和 5050 是否 可修改
gnode/gcluster 的默认端口在安装目录的配置文件中修改相应 5258/5050 字样后重启集群服 务即可。
2021-04-22 09:57:15
387
原创 GBase8a 是否可以修改操作系统 gbase 用户密码
操作系统的gbase用户密码是可以修改的，但务必保证各个节点该用户名的密码保持一致；同时保证各节点的gbase用户间的ssh互信。
2021-03-23 15:24:02
464
原创 GBase 8a 创建用户时是否可以指定用户登陆的默认数据库
创建用户时 8a 没有指定用户登陆默认数据库的功能，使用任何数据库之前都需要显式的 use database(schema) ...。 用户登录时可以通过指定-D 参数，直接使用某个特定数据库
2021-03-23 15:16:23
417
原创 GBase 数据重分布原理是什么？
集群有 3 中状态： Normal(正常模式），ReadOnly（只读模式），Recovery（维护模式） 一、扩容 扩容阶段涉及到的状态迁移说明： 1. 数据准备阶段：集群状态由 Normal -> ReadOnly ，这个状态只允许查询。在这个阶段， 进行数据迁移。 2. 数据切换阶段：集群状态由 Readonly ->Recovery ，这个状态集群不允许任何动作。 这个阶段，新的节点做表的 Rename 动作，旧的节点做表的 Delet
2021-03-23 15:14:04
439
原创 GBase8a 集群是否支持跨网段部署
集群不支持跨网段部署，要求集群节点必须部署在同一个网段内； 大规模集群版本支持跨网段的部署，但要求： （1）gcluster 子集群必须部署在同一个网段内； （2）gnode 子集群可以部暑在不同网段，但不同网段的节点间的网络应能互通 ...
2021-02-22 15:43:39
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人