u010682157的博客

原创 国产数据库---GBase8a 表关联的执行计划分类

GBase 8a 数据库 表分为3中表，分别是：哈希分布表、随机分布表、复制表。 GBase 8a MPP Cluster 可处理 PB 级别以上的结构化数据，对于大表数据可以采用 分布存储模式，分布策略有随机分布或哈希分布两种方式进行数据分布式存储。用 户可以按照业务场景的需求，选择合适的分布策略，从而在性能、可靠性和灵活性 间获得最佳匹配。 随机分布模式 随机分布模式是指数据库创建随机分布的分布表，在对其进行加载时数据随机均等 的分布到数据集群的各个...

原创 国产数据库---Oracle迁移至GBase8a---第五章---存储过程

异构数据引擎的迁移难点在于存储过程的迁移，本篇材料整理了Oracle存储过程向GBase 8a 的迁移的一些说明，请大家参考。 创建语法 下表介绍了 GBase 8a 和Oracle 存储过程的创建语法。 数据库 语法 GBase 8a CREATEPROCEDURE`<databaseName>`.`<procedureName>` ( [ IN| OUT| INOUT] [...

原创 国产数据库---Oracle迁移至GBase8a---第四章---函数

函数 综述 Oracle中支持数百个函数，从功能分类上大体可以分为单值函数、聚合函数、分析函数、对象函数和模块函数，其中主要的是单值函数。根据处理的数据类型和返回值的不同，单值函数包括数值函数、字符串函数、NLS函数、转换函数、日期时间函数、比较函数、大对象函数、集合函数、层次函数、数据挖掘函数、XML函数、转码函数、NULL相关函数、环境与标识函数。由于处理对象和应用场景不同，GBase 8a 并未全部支持Oracle的所有函数，以下为整理的部分函数，请GBase8a爱好者 可以参考。 数

原创 国产数据库---Oracle迁移至GBase8a---第三章---操作符

操作符 综述 Oracle 内置的 SQL 操作符与 GBase 8a 基本上都可以对应上。这些操作符可以分为 5 类。算术操作符、连接操作符、分级查询操作符、Multiset操作符、 集合操作符。Oracle 10g 支持17个操作符，可以使用他们构建表达式。GBase 8a 支持的操作符功能和 Oracle 是一样的。但是有一些例外，例如 Oracle || （连接）， 如果 GBase 8a 启动时使用 –ansi 选项，则支持 || 作为连接符，其他情况下 || 必须使用 GBase 8.

原创 国产数据库---Oracle迁移至GBase8a---第二章---谓词

谓词 综述 Oracle 和 GBase 8a 都可以很好的支持 SELECT 、 UPDATE、DELETE声明中的 WHERE 字句和 HAVING 字句。其中REGEXP_LIKE(string_表达式, pattern)可以使用 GBase 8a 的expr REGEXPpattern表达式来代替，但REGEXP_LIKE(string_表达式, pattern, match_parameter)等特殊的函数或谓词就不被GBASE 8A支持。对于这些谓词我们从下面几个方面来进行介绍：..

原创 国产数据库---Oracle迁移至GBase8a---第一章---数据类型

从今天开始，分享Oracle迁移至GBase8a的一些随笔，希望对大家有帮助。经过一段时间的分析和整理了基于ORACLE数据库的应用系统向GBase 8a数据库迁移的过程中需要注意的问题和对应的方法。涉及的内容包括数据库迁移和应用程序迁移两部分。数据库迁移是指对数据库对象的迁移，内容包括数据库对象的差异，数据类型迁移，表达式和操作符迁移，SQL语句迁移，内建函数对比，临时表对比，游标对比，存储过程和函数定义对比，视图对比，触发器对比，Secquence（序列）迁移等。应用程序迁移是针对使用不

原创 国产数据库---GBase8a Hash索引及其特色的智能索引概要说明

GBase 8a目前支持2种索引：hash索引和智能索引；其中智能索引是自动创建和维护的。--HASH索引：HASH索引分为global hash索引、分段hash索引；通过如下sql语句创建：Create index idx_name on [dbname.]tabname(ColName) [using hash global]Hash索引适用于等值查询类场景，Hash索引的索引文件是不压缩的，与gnode的元数据文件存放在一起；--智能索引：在GBase 8a数据库，数据类

原创 国产数据库---GBase8a的HASH分布表

l随机分布表不足的表现：随机分布表，入库加载时均匀分布各个节点的，但在查询的时候，精确查询还好，如果关联查询，因为我们的数据分布各个节点是没有规律的，所以关联查询时，会根据关联列进行动态重分布，根据关联列重分布各个节点，强制HASH，数据量小还好，如果数据量大动态重分布一次很耗时的。l所以现场大表一定要有HASH键，在GBase中，HASH分布列的选择十分重要，选择不正确，则有如下影响：Ø影响数据分布，不好评估数据库空间使用情况Ø影响性能，节点间出现木桶效应l表...

原创 国产数据库---GBase 8a 审计日志篇

GBase 8a数据库集群提供了审计日志audit_log，记录数据库执行的所有SQL。通过参数或审计策略，保留符合条件的日志到文件或表里。作用记录集群所有执行完成的SQL,包括用户登录失败，SQL语法错误等。注意默认的审计日志，以FILE形式，保存在audit_log_file参数指定的目录下，默认是是gcluster/log/gcluster/gclusterd-audit.log. 如果以TABLE方式记录时，是保存在gbase.audit_log表里面。 审计日志只记录在当前节点运

原创 国产数据库---GBase8a按时间分区

GBase 8a MPP Cluster系列产品从V95版本开始支持分区表功能，通过使用分区表，可有效提升查询性能、降低数据维护成本。GBase 8a支持普通分区和子分区。目前常用的分区方法有range分区、list分区、key分区、hash分区。在实际生产环境中，经常会按照时间顺序将生产数据进行组织管理，常用年度，季度，日期作为数据切分的时间单位。此时可利用range分区或list分区对数据按照时间单位进行划分管理。示例1：按年度进行分区管理Create table pt (d date,i in

原创 国产数据库---GBase8a如何接收Oracle数据库大对象字段

使用orato8a(南大通用GBase自带的一种数据迁移工具)导出含clob或blob类型字段的表数据通过指定–encoding参数，设置将clob或blob字段数据，以text（二进制）、base64（base64编码）或url（外部文件）方式存储。$./orato8a --user=‘ssbm/ssbm@maya’ --table_name=‘message’ --file=’./message.tbl’ --format=3 --field=’;’ --encoding=base64 --stri

原创 国产数据库---GBase 8a替换GreenPlum ---迁移4

GreenPlum支持的函数比较多，不仅支持常见的函数，例如数学函数、字符串函数、位串函数、时间/日期函数和聚集函数，页包含特殊的函数，例如网络地址函数、几何函数等。本篇主要从以上几个方面介绍GreenPlum的函数迁移。1.1.1.数学函数1.1.1.1.abs(x)求参数的绝对值GBase 替代：abs1.1.1.2.acos(x)反余弦GBase 替代：acos1.1.1.3.asin(x)反正弦GBase 替代：asin1.1.1.4.a...

原创 国产数据库---GBase 8a替换GreenPlum ---迁移3

GreenPlum内置的SQL 操作符相对较多，常用的操作符和GBase 基本上都可以对应上，但是也有一些GreenPlum特有操作符，在迁移至GBase，需要进行相应的转换。其中常见的操作符主要包括算术操作符、连接操作符、位操作符和集合操作符等。另外不常见的操作符主要为范围操作符1.1.2.算术操作符算术操作符由于相对通用，已经得到广泛的使用，各个数据库之间不会存在太大的差异，GreenPlum和GBase也不例外，每一个GreenPlum的算术操作符都有一个同样的 GBase 操作...

原创 国产数据库---GBase 8a替换GreenPlum ---迁移2

GreGreenPlum和GBase 都可以很好的支持 SELECT、UPDATE、DELETE声明中的WHERE 子句和 HAVING 子句。GreenPlum和GBase支持的谓词比较多，详细的可以分为逻辑谓词、比较谓词、存在谓词、In谓词、NULL判断谓词、范围表达式和模式匹配谓词。本篇主要从以上几个方面介绍GreenPlum谓词向GBase谓词的迁移。1.1.谓词的迁移1.1.1.综述1.1.2.逻辑谓词逻辑谓词是结合两个条件，返回一个结果。Green...

原创 国产数据库---GBase 8a 替换GreenPlum---数据类型迁移

本迁移指南面向数据库开发人员，目标是为基于GREENPLUM数据库的应用系统向GBase数据库迁移提供指导性的、快速的指南。因此在本文档中内容的组织是以面向常规应用，力求覆盖全面为原则，不对这两种数据库的细节内容进行描述，读者可以参考相应的GREENPLUM和GBase的《参考手册》来获取细节信息。在本指南中将分析、整理基于GREENPLUM数据库的应用系统向GBase数据库迁移的过程中需要注意的问题和对应的方法。1.1.1.综述本节的内容用于指导在将GREENPLUM的表迁移到GBa.

原创 国产数据库---GBase8a 都支持哪些索引方式及适应场景

GBase 8a目前支持2种索引：hash索引和智能索引；其中智能索引是自动创建和维护的。--HASH索引：HASH索引分为global hash索引、分段hash索引；通过如下sql语句创建：Create index idx_name on [dbname.]tabname(ColName) [using hash global]Hash索引适用于等值查询类场景，Hash索引的索引文件是不压缩的，与gnode的元数据文件存放在一起；--智能索引：在GBase 8a数据库，数据类

原创 国产数据库---GBase8a 在Insert into select * from Order by

Order by 拉表问题：当复制一个分布表的表结构和数据到一个新表时，如果在select阶段有排序，集群会将所有数据拉倒发起节点，在发起节点进行排序，排序完毕后再发送到各个节点，这和在各节点自己排序然后直接插入到本节点结果是一致的，但耗时却差距很大，如:create table t(a int,b int) distributed by (‘a’);create table new_t like t;其中t表中有大量数据；Insert into new_t select * from.

原创 国产数据库---GBase 8a gcadmin 使用详情

GBase 8a 运维命令gcadmin查看集群状态GBase 8a 数据库集群，提供了运维命令gcadmin，在任何一台管理节点都可以运行。该命令返回集群当前整体状态，每个节点的服务是否OPEN状态，数据是否一致等状态，方便管理运维人员，快速查看集群是否正常。集群状态gcadmin检查项目：集群状态检查步骤：在shell执行gcadmin. 在V8版本，root用户和gbase用户均可。 在V9版本，请在gbase用户下执行。检查标准：集群状态，ACTIVE,;模式NORMAL;所

原创 国产数据库---GBase 8a精准查询优化方法

本文针对GBase 8a 在最简单的精确查询场景下，已知的优化手段进行汇总，包括Hash分布，global hash索引，行存列，并行物化，预排序等。后续如有更多的方法会逐渐补充。精确查询指等值的查询，比如查询2021年8月8日的天表，主叫号码为13912345678的通话记录。select * from MyTable_20210808 where calling_number=13912345678;优化分析这类查询分成2个阶段分析，其中定位阶段负责根据查询列，找到符合要求的数据行；根据数

原创 国产数据库---GBase 8a加载报错Line length 5988446 is 问题分析

GBase 8a数据库集群在加载时，是逐行解析的，所以要提前为每一行预留出足够的内存。默认值是4M，如果用户一行数据超过了这个参数值，则会报这个错误Line length 5988446 is more than gbase_loader_max_line_length。通过提高参数值或者确认数据没有质量问题来解决。报错样例Line length 5988446 is more than gbase_loader_max_line_lengthDETAILGBA-01-600) Gbase

原创 国产数据库---GBase 8a支持中文表名和字段名

GBase 8a数据库集群默认表和字段名字只支持字母、数字和下划线。通过设置gcluster_extend_ident参数，可以提供对中文表名和字段名的支持。参数gcluster_extend_ident用来控制是否可以创建中文表名字段、特殊字符的字段。默认为 0，0 表示不开启，为 1 表示开启。注：打开 gcluster_extend_ident 参数之后，系统从原来的只能创建字母数字下划线命名方式，扩展到支持中文和特殊字符，但特殊字符不包括“‘”,”””,”\”,” . “四个字符。

原创 国产数据库---GBase 8a 服务器发生大量CPU sys占用问题的原因

GBase8a数据库在运行过程中，因为某些原因出现大量的CPU sys占用，进而导致数据库性能问题。这类问题应该如何去排查？有哪些已知的原因可能导致这类问题的发生？通常cpu出现大量的sys占用是由于资源争抢导致的，如锁资源的争抢、内存的争抢。可用于监控、分析的工具有perf、nmon等。GBase8a集群出现sys占用高的几个已知问题原因有：1）操作系统的NUMA参数未关闭，在内存紧张情况下可能导致频繁的内存换入换出导致sys高，数据库服务器一定要关闭NUMA参数 - iLeLe的日志 - G.

原创 国产数据库---GBase进入Gartner DMSA魔力象限

Gartner在报告指出，GBase的优势体现在三个方面：1、中国市场取得了巨大成功并在全球市场初露头角。GBase在中国大型客户市场取得了强劲的业绩，在金融和电信领域部署了PB级的数据仓库。同时，GBase在南美，非洲，东欧和北美的电信行业初露头角。2、客户忠诚度高：GBase在客户持久性调查中得分很高。参考客户中，有超过90％的人表示他们打算在未来12个月内向GBase购买额外的许可证，甚至更多的人表示他们会向其他人推荐GBase。3、LDW愿景：通过GBase UP，GBase旨在...

原创 国产数据库---GBase 8s数据库安全分享

GBase 8s数据库安全分享随着计算机网络的广泛应用，网上信息的开放性与共享性日益增强，但随之而来的是信息安全问题愈发严重。数据库是这些数据信息存储的主要场所，因此确保数据库中存储以及存取信息的安全是确保网络安全的首要问题。为此，需要在通用的数据库管理系统基础上，围绕安全性功能进行体系化设计，从而增强数据库系统的安全性。作为广泛应用于金融、电信等超大规模领域的GBase8s，是如何实现数据安全的呢？本篇文章将从“数据安全、安全功能组成”两个方面为您揭开它的神秘面纱。一、数据安全· 数据保.

原创 国产数据库随笔6----分布式面临的挑战GBase学习随笔

分布式实践仍存在许多问题横向扩展 (scale out) 的设计思想并非创新，但在历史上一直未被广泛应用。一方面是由于分布式环境使事务ACID特性难以实现，另一方面是由于单机性能升级即可满足企业的数据需求。但随着摩尔定律在某种程度上的失效和互联网的发展，硬件性能升级无法匹配海量数据的增长，分布式在近年来广受关注，许多厂商都推出了相应的分布式数据库产品。然而，在分布式的前提下，还有许多待探索的问题，例如分布式事务的解决、架构的创新、数据分片的智能化、企业级能力的提...

原创 国产数据库随笔5----数据库选型篇GBase学习随笔

一般数据库选型从前期到后期，会综合考虑外围因素（自身技术路线、资质、品牌声誉与行业案例、 生态构建等），产品技术相关因素（一致性、兼容性、扩展性、性能、功能丰富性、安全性等），以及后期的价格服务因素（解决方案、性价比、服务响应速度、培训体系等）。前期：外围因素◼历史IT架构与技术路线除初创外，大多数企业都积累了一定的IT资源，不同IT路线之间的转换存壁垒，例如已经选择了Microsoft+.NET技术路线的企业很再难向Oracle+Java路线转型。◼相关资质（国产、...

原创 国产数据库随笔4----中国市场规模及发展特点GBase 学习随笔

中国数据库市场规模及发展特点据艾瑞统计，2020年中国数据库市场总规模达247.1亿，较2019年增长16.2%，CAGR（2020-2025e）达15.6%。2020- 2022中国数据库市场将呈高速增长，由多方面因素促成：1）政策利好，国家大力鼓励国产数据库厂商的发展；2）需求 拉动，国产化和数字化建设带动需求的爆发增长；3）供给端多元厂商发力，传统、初创和跨界厂商厚积薄发，产品和技 术经历了工程实践的打磨走向成熟；4）国内企业对基础软件的付费意愿和IT支出也在逐年提升，有利于市场的

原创 国产数据库随笔3----国产数据库发展历程GBase 学习随笔

原创 国产数据库随笔2----世界数据库发展历程GBase 学习随笔

原创 国产数据库随笔1----国内数据库规模、格局、趋势GBase 学习随笔

中国数据库市场规模：据统计，2020年中国数据库市场总规模达247.1亿元，同比增长16.2%。2020-2022中国数据库市场预计将呈高增长态势，由多方面因素促成：1）政策利好，国家大力鼓励国产数据库厂商的发展；2 ）需求拉动，国产化和数字化转型带动需求的爆发增长；3 ）供给端传统、初创和跨界各类型厂商厚积薄发，产品和技术经历了多年工程实践的打磨走向成熟；4）国内企业对基础软件的付费意愿和IT支出占比在逐年提升，有利于市场的长期发展。中国数据库市场格局：1）多类...