- 博客(70)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 金仓KES单机扩容集群
个人感觉创建扩展不用在这里，后面使用repmgr register命令的时候会自动创建。数据库版本：KingbaseES V008R006C009B0014。shared_preload_libraries参数增加repmgr。另外，两个后台进程repmgrd和khba需要手动启动。注意：host为备节点的地址（主机名或者ip）注意：host为当前节点的地址。金仓KES单机扩容集群。操作系统：CentOS。
2025-11-04 15:13:54
725
原创 KADB行列转换
select name,unnest(array['数学','英语','语文']),unnest(array[数学,英语,语文]) from (select t.name,t.grades[1] 数学,t.grades[2] 英语,t.grades[3] 语文 from(SELECT 'Tim' name, '英语' subject, 'B' grade。SELECT 'Tom' name, '数学' subject, 'B' grade。name | 数学 | 英语 | 语文。Tim | 语文 |
2025-07-04 21:07:53
509
原创 kes监控组件安装
必填，数据库探针服务地址以下划线为分隔符前面为集群名称后面为IP地址，可填同时填写多个集群信息，多个服务逗号分隔，e.g.:(“cluster1_node11_1234““cluster1_node12_1234““cluster2_node21_1234“)修改数据库kmonitor用户密码，自动替换kmonitor.properties中密码参数，禁止直接传入明文密码时使用passwd_kmonitor_en.sh脚本可支持传入base64加密密码，使用方法一致。
2025-05-01 16:26:51
621
原创 可视化性能分析工具火焰图
使用flamegraph工具可以将linux或者windows下堆栈信息采集工具采集的操作系统层面的进程堆栈信息转化为可视化的图形显示，方便分析进程执行的性能问题。
2025-04-26 15:08:41
1026
原创 kafka jdbc connector适配kadb数据实时同步
a | int(11) | NO | PRI | NULL | auto_increment | //使用increment ing方式，必须是自增列。timestamp+incrementing: 使用两个列，一个为自增列，一个为时间戳列。timestamp: 使用时间戳标识增量数据，每次更新数据都要修改时间戳，时间戳严格递增。incrementing: 使用严格的自增列标识增量数据。#增量获取方式，支持bulk，incrementing，timestamp等等。
2025-04-18 18:02:07
1181
原创 金仓KES添加分区阻塞分析
alter table …add partition语句给表添加分区操作需要在表上持有表级锁才能执行，当其他进程在被操作的表上已经持有锁并且没有释放时会阻塞添加分区的操作，使添加分区的操作处于锁等待状态。客户现场系统视图观察到多个进程处于”Lock“状态，证实添加分区操作被卡住是由于其他进程持有将添加分区的表上的锁，最终导致添加分区的操作无法获取表级锁，从而表现为卡住的状态。定时任务和手动添加表分区操作被卡住原因为无法获取待添加分区表上的锁，导致锁等待，添加表分区的进程状态处于‘Lock’状态。
2025-03-20 16:10:56
389
原创 一个KADB测试实践
经测试发现在目前的测试数据量和计算实例部署的情况下，大多数场景使用pg优化器+heap表+索引的方式得到比AO表+9级zlib压缩+GPORA的组合更好的测试结果。本文档描述xxxx测试中6个典型测试场景的测试结果及背景，旨在对不同数据量，不同存储方式，不同优化器三者的组合优化进行探索，进而为未来的类似测试提供组合优化参考。测试共6个场景，各个场景sql如下（后缀’_c’表示列存表，‘_r’表示行存表,’_p’为分区表），除特别注明默认优化器使用pg。：2000w，行存，复制分布。简单查询（3亿数据）
2025-03-20 10:34:45
1267
原创 同步Oracle及mysql至KADB的KFS配置文件参考
s_kadb_3114] 目标端KADB。[m_kes_3113] 源端为KES。附：目标端KADB的flysync.ini文件。Oracle源端flysync.ini文件。mysql源端flysync.ini文件。注意：oracle用户名大写。
2025-03-15 16:57:54
1081
原创 命令行方式安装KFS同步KES到KADB
在部署之前需确认KingbaseES V8 的具体版本，如果为V8R3（不含）之上的版本，需要将Kingbase FlySync 的安装包中extensions/jdbc/kingbase8-8.6.0.jar 拷贝到同步包的flysync-replicator/lib 目录下，如果为V8R3(含) 以下版本，需要Kingbase FlySync 的安装包中extensions/jdbc/kingbase8-8.2.0.jar 拷贝到同步包的flysync-replicator/lib目录下。
2025-02-27 18:34:37
846
原创 Python3使用pip3安装psycopg2环境
因为从python3.10版本以后不再支持libressl，需要使用openssl进行编译安装以解决ssl模块导入失败，及后续使用pip3安装第三方模块时报错“Can't connect to HTTPS URL because the SSL module is not available.”问题。安装psycopg2模块前，系统必须已经安装的postgresql或者客户端，因为需要pg_config文件的内容。–with-openssl：参数指定openssl的安装目录。openssl的安装步骤。
2025-02-11 18:10:38
941
原创 FlinkCDC适配KADB失败实践
flink-sql-connector-mysql-cdc-2.4.0.jar：源端为mysql，使用flink的mysql cdc驱动。'table-name' = 'orders' //mysql里面需要数据同步的源表。源端mysql，使用flink的CDC，实施同步mysql的数据至KADB，验证flinkcdc对kadb的支持。'connector' = 'mysql-cdc', //指定mysql cdc连接器名称。-- 创建一张产品表，并写入一些数据。
2025-02-08 13:40:57
1134
原创 PolarDB至金仓MPP数据库迁移方案
各个IT系统的环境和运行情况千差万别，迁移涉及到服务器硬件、存储、网络等基础硬件的变更，也涉及应用代码的改造，在这样的复杂的迁移条件下了解源系统的响应时间、系统吞吐率、装载效率、数据增长率及典型SQL的执行时间等性能指标和迁移后用户对上述指标的期望值进行对比，从而确定迁移目标。并且考虑到迁移后的性能问题，需要将迁移前后表的DDL进行比对和修改，这就需要我们在执行迁移任务前对应用涉及的业务系统表进行充分的了解和研究，迁移前对表的DDL进行统计和收集会大大减少后续迁移过程中遇到的问题。
2025-01-16 16:01:21
703
原创 一个从oracle使用spool导出数据到kadb的脚本
echo [`date +%Y-%m-%d_%H:%M:%S`]"执行导出操作:./sql_dump.sh $LINE $begin_time $end_time" >> .//log/dump_data_$begin_time.log。echo [`date +%Y-%m-%d_%H:%M:%s`]..表$test开始导出数据 >> .//log/dump_data_$begin_time.log。
2024-12-25 16:09:02
1269
1
原创 Kadb中的ecpg编程
/ 获取行数，只有主变量能被sql赋值。// 删除 spj 数据库。// 创建 spj 数据库。if (flag ++ == 0) { // 第一次把列名输出。printf("\n已连接%s\n", target1);printf("\n已断开%s\n", target1);printf("\n已连接%s\n", target2);printf("\n已断开%s\n", target2);
2024-11-27 14:02:51
700
原创 KADB支持arm架构Pro*c
下载oracle的arm客户端。注意，应答文件必须为绝对路径。应答文件模板在客户端介质的。Arm环境pro*c编译。#在文件末尾添加如下配置。创建客户端的安装目录。
2024-11-25 16:49:24
958
原创 KADB支撑地理信息系统
如果业务需要处理非结构化数据，建议和其他nosql数据库或者分布式文件系统搭配使用，借助KADB的跨引擎访问数据的能力，在KADB中存储处理结构化数据和非结构数据在分布式文件系统的地址，在分布式文件系统中存储非结构化数据，利用两者的优势，达到系统的数据存储和查询的要求。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)中，这个过程也可以做一些数据的清洗和转换，在抽取的过程中需要挑选不同的抽取方法，尽可能的提高ETL的运行效率。
2024-11-21 23:23:07
1322
原创 KADB与企业数仓建设
产品应大数据时代海量数据分析处理的需求，采用shared-nothing分布式架构，具有高性能，高扩展性能力，承载了人大金仓在大规模并行计算和数据库管理领域最新的研发成果，它定位于数据分析类应用市场，可以处理TB-PB级别的数据，并能集成多种异构数据源进行数据挖掘和分析。支持海量数据场景下的集群高可用特性。随着信息技术的飞速发展，企业每天都会产生海量的数据，这些数据来自各个业务部门，业务领域的多个系统，库建设是企业信息化战略的关键组成部分，它通过整合来自不同源的数据，提供一个统一的、历史性的数据分析平台。
2024-11-21 23:20:59
912
转载 gp获取表定义DDL语句
AS $$try:try:='v':else:first=Trueelse:else:else:\n\n"\n'\n'\n'执行结果：
2024-06-11 19:53:41
885
1
原创 KADB锁冲突查看及解决
可以看到pid为3059的进程处于锁等待状态，此时还不能确定是哪个进程，执行的什么SQL导致进程3059的锁等待。方法二、通过gp_toolkit.gp_locks_on_relations视图。最后通过执行下面的语句，将造成锁等待的进程终止执行来解决锁等待问题（查询这些进程执行的SQL，从而定位导致3059进程锁等待的SQL。方法一、通过查询pg_locks表确定锁冲突关系。可以知道被加锁的对象的oid为18334。再次查询对象18334上加锁的进程。查询进程3059加锁的表。不要随便终止进程，需谨慎。
2024-04-07 18:05:09
680
原创 使用ora2pg迁移mysql到KADB
ora2pg依赖项检测是检测安装操作系统(linux，暂不支持windows操作系统搭建，但可使用windows命令行连接搭建好的迁移工具集群)的环境是否满足迁移工具运行。PG_VERSION 12 //pg10以下不支持分区，设置了也没有导出分区信息。备份ora2pg安装目录下的ora2pg.conf.dist文件或者，直接使用下面的文件。修改配置文件，将TYPE类型值从“TABLE”修改为“COPY”进行数据抽取和导入。解压：tar -xvf DBD-mysql-4.039.tar.gz。
2024-03-18 13:55:53
977
原创 Postgresql自定义函数—表名作为函数参数
-这里只传递了2个参数。使用using子句给format函数传递参数($1)，这里是数字‘壹’。%s的含义，见第四部分说明。这种调用方式，返回表的数据同正常查询结果的返回。这种调用方式，返回表的数据，作为元组形式。
2024-02-06 18:22:23
1383
3
原创 【无标题】KADB使用DBLINK连接KES验证
KADB版本：Greenplum Database 6.0.0 build dev.V003R002C001B0181.d354cc9215。KES版本：KingbaseES V008R006C007B0012。登录配置文件sys_hba.conf修改登录验证方式为md5。KES修改参数，在kingbase.conf文件中，设置。
2024-01-24 22:12:42
815
原创 KADB使用PXF连接KES验证
在KADB所有segment节点创建下面的文件（jdbc-site.xml文件模板在目录：/home/mppadmin/kadb/pxf/templates。KADB版本：Greenplum Database 6.0.0 build dev.V003R002C001B0181.d354cc9215。以下操作假设KADB和KES已经部署完成并且启动正常，环境变量设置完成。KES版本：KingbaseES V008R006C007B0012。Java版本：openjdk version "1.8.0_262"
2024-01-24 21:49:48
1716
原创 金仓数据同步工具KFS安装之源端注意事项及操作
参与数据同步的两端所在物理机器的当前系统时间，需要保证时间彼此一致，否则可能会造成同步程序工作异常。• KUFL 文件的磁盘空间要求：实际和具体的运行压力有关，建议：> 20GB。在源端创建数据同步账号：flysync，并且允许该账号登录源端操作系统。Kingbase FlySync 中间文件交换默认监听端口。Kingbsae FlySync 服务中心默认监听端口。Kingbsae FlySync 比对服务默认监听端口。• 安装路径中的磁盘空间要求：2GB。ORACLE 例程已经关闭。
2023-12-12 13:53:26
660
原创 Teradata & KADB数据库对象兼容说明(二）
当表共享一个共同的分布键时，在它们共享的分布键列上的连接或者排序工作会在本地完成。选择的数据类型应使用最少的空间，但仍能容纳用户的数据并且能最好地约束数据。如果用户预期用户的数据值将会随着时间扩张，应该考虑到在装载大量数据后从较小的数据类型更改成较大的数据类型需要很大的代价。外键约束指定一列或者一组列中的值必须匹配出现在另一个表的某行中的值，以此来维护两个相关表之间的参照完整性。数据库的表与任何一种关系型数据库中的表类似，不过其表中的行被分布在系统中的不同Segment上。它们的定义不存储在数据字典中。
2023-11-25 17:40:35
1609
原创 Teradata & KADB数据库对象兼容说明(一）
本文从Teradata和KADB的数据类型、函数、DDL语句三个方面说明列举两个产品的兼容情况，以此分析从Teradata迁移至KADB的可行性。注：不兼容的数据类型标注为：X。注：不兼容的数据类型标注为：X。
2023-11-25 17:39:47
947
原创 Flink CDC介绍及KADB支持
对于订单表，为了方便进行分析，我们希望让它关联上其对应的商品和物流信息，构成一张宽表，并且实时把它写到 ElasticSearch 中。如果在DDL上定义了主键，JDBC接收器将以upstart模式操作，以便与外部系统交换UPDATE/DELETE消息，否则，它将以追加模式操作，并且不支持使用UPDATE/DELETE消息。然后, 对于数据库中的表 products, orders, shipments， 使用 Flink SQL CLI 创建对应的表，用于同步这些底层数据库表的数据。
2023-11-11 16:04:16
440
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人