- 博客(328)
- 收藏
- 关注
RSS订阅原创 opengauss dolphin Extensiondolphin
详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-25 10:24:54
35
原创 opengauss配置参数说明
参数值为字符串，该参数为ceph集群配置文件ceph.conf路径，ceph.conf默认安装路径为"/etc/ceph/ceph.conf"。：参数值为字符串，该参数仅在开启SSL时有效，指定private key路径。：参数值为字符串，该参数仅在开启SSL时有效，指定keypass路径。：参数值为字符串，该参数仅在开启SSL时有效，指定CA证书路径。：参数值为字符串，该参数为libsmartscan监听ip。：参数值为字符串，该参数为日志文件写入路径。：参数值为整数，该参数为预留参数，无实意。
2024-07-25 10:24:23
218
原创 opengauss libsmartscan 安装
1.获取Libsmartscan_5.1.0_openEuler_aarch64.tar.gz。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。4.配置参数，启动libsmartscan。2.解压tar包，创建log目录。
2024-07-25 10:23:37
95
原创 opengauss libsmartscan介绍
libsmartscan安装配置参数说明详情查看：https://opengauss.org详情查看：https://docs-opengauss.osinfra.cn。
2024-07-25 10:23:03
39
原创 opengauss DPPlugin GUC参数说明
参数值为整数，该参数指定存储集群libsmartscan进程监听的端口号，用于和libsmartscan进程通信，发送任务。：参数值为整数，该参数限制下推页面数阈值，页面数小于阈值的表即使满足下推条件也不会走下推流程。详情查看：https://docs-opengauss.osinfra.cn。：参数为字符串，该参数仅在开启SSL时有效，指定CRL证书路径。详情查看：https://opengauss.org。：参数值为布尔类型，该参数用于使能插件。
2024-07-25 09:58:14
223
原创 opengauss NDPPlugin 查看视图
NDPPlugin视图用于查看查询语句下推详细统计信息，帮助用户判断语句下推情况。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-25 09:57:41
79
原创 opengauss NDPPlugin 系统视图
详情查看：https://docs-opengauss.osinfra.cn。pushdown_statics视图显示下推查询基础统计信息。详情查看：https://opengauss.org。
2024-07-25 09:57:09
117
原创 opengauss NDPPlugin介绍
系统视图查看视图GUC参数说明详情查看：https://opengauss.org详情查看：https://docs-opengauss.osinfra.cn。
2024-07-25 09:56:37
23
原创 opengaus NDPPlugin限制
NDPPlugin限制暂时仅支持shared_preload_libraries方式加载插件 暂不支持Toast表场景 暂不支持ustore场景 暂不支持synchronize_seqscans 详情查看：https://opengauss.org 详情查看：https://docs-opengauss.osinfra.cn
2024-07-25 09:54:50
187
原创 NDPPlugin安装 opengauss
1.获取LibSmartScan_5.1.0_openEuler_aarch64.tar.gz并解压。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。4.启动libsmartscan服务，见。5.创建数据库并连接数据库开始使用。
2024-07-25 09:54:17
150
原创 opengauss NDPPlugin概述
openGauss提供NDPPlugin Extension（版本为ndpplugin-1.0.0）。NDPPlugin Extension是openGauss资源池化场景下算子卸载扩展。共享存储虽然带来弹性，可靠性的好处，但是和本地盘单机比较性能会下降较多，主要是网络IO和分布式存储自身带来的延迟，尤其对于大规模查询buffer pool无法缓存的场景，大量的数据需要从存储节点搬运到计算节点，这些批量数据经过滤后大部分场景有效数据内容占比非常少，耗费大量的无用网络IO时间，性能较差。
2024-07-25 09:53:39
264
原创 opengauss NDPPlugin Extension
详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-25 09:53:09
61
原创 opengauss插件使用指南
本文档主要介绍Dolphin Extension，PostGIS Extension，DataVec Extension和 NDPPlugin Extension。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-25 09:52:07
113
原创 openGauss数据校验注意事项
注意事项JDK版本要求JDK11+ 当前版本仅支持对源端openGauss/MySQL，目标端openGauss/MySQL数据校验 当前版本仅支持数据校验，不支持表对象校验 MYSQL需要5.7+版本 当前版本不支持地理位置几何图形数据校验 校验工具当前不支持校验中断(网络故障、kill进程等)自动恢复。 数据校验行级过滤规则配置，只支持[offset,count]指定范围内抽取，不支持排除[offset,count]范围之内的数据过滤。 行过滤规则抽取中间范围内数据（例如：[10,10
2024-07-25 08:58:04
266
原创 openGauss数据校验操作步骤
kafka: bootstrap-servers: localhost:9092 #为kafka工作地址，默认安装可不修改 datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://127.0.0.1:3306/test?全量校验 gs_datacheck 依赖MySQL一键式迁移工具gs_rep_portal，可实现全量迁移的安装、启动、停止、卸载整个过程。修改gs_rep_portal配置文件。
2024-07-24 10:09:50
654
原创 openGauss数据校验
数据校验工具 gs_datacheck，分为check服务和extract服务。check服务用于数据校验，extract服务用于数据抽取和规整。全量校验：在全量数据迁移完成后，由extract服务对源端和目标端数据通过JDBC方式进行数据抽取然后规整计算，并将计算后的中间数据推送到kafka中。最后由check服务提取kafka中的中间数据，构建默克尔树，通过默克尔树比对实现表数据校验且输出校验结果。增量校验：由debezium服务侦听源端数据库的增量数据，到指定topic。
2024-07-24 10:09:00
50
原创 opengauss反向迁移注意事项
为： 以[A-Za-z_]开头，随后仅包含[A-Za-z0-9_] 因此，对于openGauss中的标识符命名，包括表名、列名等，需满足上述命名规范，否则迁移会报错。当前支持openGauss IUD操作（insert、update、delete）产生的增量数据迁移至MySQL。反向迁移依赖于openGauss的逻辑复制，仅限能进行逻辑复制的用户进行操作。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-24 10:08:25
126
原创 opengauss反向迁移gs_replicate依赖MySQL一键式迁移工具gs_rep_portal
其中workspace.id表示迁移任务id，取值为数字和小写字母的组合，不同的id区分不同的迁移任务，不同迁移任务可并行启动。若使用已存在的workspace.id，并修改其中的配置，请在portal/workspace/${workspace.id}/config/路径下修改对应的配置文件。反向迁移gs_replicate依赖MySQL一键式迁移工具gs_rep_portal，可实现反向迁移的安装、启动、停止、卸载整个过程。3、修改gs_rep_portal配置文件。
2024-07-24 10:07:52
108
原创 openGauss反向迁移
反向迁移是指将openGauss端产生的增量数据迁移至mysql端。debezium opengauss connector的source端，监控openGauss的xlog日志，并将数据的DML操作以AVRO格式写入到kafka；debezium opengauss connector的sink端，从kafka读取AVRO格式的数据，在mysql端按表并行回放，从而完成数据的DML操作从openGauss在线迁移至mysql。
2024-07-24 10:03:44
166
原创 opengauss增量迁移注意事项
MySQL参数设置要求为：log_bin=ON, binlog_format=ROW, binlog_row_image=FULL, gtid_mode = ON。若gtid_mode为off，则sink端按照事务顺序串行回放，会降低在线迁移性能。支持迁移openGauss数据库兼容的MySQL DDL语句，对于不兼容的DDL，迁移时会报错处理（openGauss在完善对DDL的兼容性）。因此，对于MySQL中的标识符命名，包括表名、列名等，需满足上述命名规范，否则在线迁移会报错。
2024-07-24 08:15:23
113
原创 opengauss增量迁移安装、启动、停止、卸载
其中workspace.id表示迁移任务id，取值为数字和小写字母的组合，不同的id区分不同的迁移任务，不同迁移任务可并行启动。若使用已存在的workspace.id，并修改其中的配置，请在portal/workspace/${workspace.id}/config/路径下修改对应的配置文件。上述安装、启动、停止、卸载命令均不会在后台运行，若需在后台运行，请在命令后添加&符号。详情查看：https://docs-opengauss.osinfra.cn。
2024-07-24 08:14:53
40
原创 opengauss增量迁移操作步骤
增量迁移gs_replicate依赖MySQL一键式迁移工具gs_rep_portal，可实现增量迁移的安装、启动、停止、卸载整个过程。根据系统版本下载对应版本的portal（这里以centos系统x86架构为例）详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。不同系统版本和架构对应的portal下载链接详见。修改gs_rep_portal配置文件。解压，并进入portal对应目录。
2024-07-24 08:14:21
235
原创 opengauss增量迁移
增量迁移是指将mysql数据迁移期间（包括全量和增量迁移）产生的增量数据迁移至openGauss端。debezium mysql connector的source端，监控mysql数据库的binlog日志，并将数据（DDL和DML操作）以AVRO格式写入到kafka；
2024-07-24 08:13:46
87
原创 openGauss 安装、启动、停止、卸载
其中workspace.id表示迁移任务id，取值为数字和小写字母的组合，不同的id区分不同的迁移任务，不同迁移任务可并行启动。若使用已存在的workspace.id，并修改其中的配置，请在portal/workspace/${workspace.id}/config/路径下修改对应的配置文件。上述安装、启动、停止、卸载命令均不会在后台运行，若需在后台运行，请在命令后添加&符号。详情查看：https://docs-opengauss.osinfra.cn。
2024-07-24 08:12:56
135
原创 openGauss 修改gs_rep_portal配置文件migrationConfig.properties
【代码】openGauss 修改gs_rep_portal配置文件migrationConfig.properties。
2024-07-24 08:12:25
48
原创 openGauss 修改gs_rep_portal配置文件toolspath.properties
详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。修改gs_rep_portal配置文件。
2024-07-24 08:11:50
139
原创 openGauss全量迁移操作步骤
如果用户的系统版本不在以下版本中，则内网场景下可能无法安装portal，此时安装portal需要保证pip3 install功能可用，可以连接外部网络的场景下安装portal不受系统版本影响。全量迁移gs_mysync依赖MySQL一键式迁移工具gs_rep_portal，可实现全量迁移的安装、启动、停止、卸载整个过程。根据系统版本下载对应版本的portal（这里以centos系统x86架构为例）详情查看：https://docs-opengauss.osinfra.cn。
2024-07-24 08:11:11
227
原创 openGauss全量迁移
全量迁移gs_mysync是一个用Python3编写的将MySQL迁移至openGauss的复制工具，支持初始全量数据的复制功能。gs_mysync通过一次初始化配置，使用只读模式，将MySQL的数据全量拉取到openGauss。支持在同一快照下，表间数据并行迁移。全量迁移支持的功能：支持表及表数据、视图、触发器、自定义函数、存储过程的全量迁移基于sysbench测试模型，2路鲲鹏920 CPU、openEuler操作系统下，MySQL数据库10张表（无主键）单表数据量在500万以上时，gs_mysync使
2024-07-24 08:10:32
56
原创 完整数据迁移流程opengauss
4.在/ops/portal/config目录的migrationConfig.properties文件中修改迁移参数，指定新的workspace.id为2启动迁移计划3。5.程序将自动运行至增量迁移和增量校验同时开启中，让workspace.id为2的任务停止增量迁移，此时程序进入等待状态，之后可以启动反向迁移或停止计划。3.在/ops/portal/config目录的toolspath.properties文件中修改安装路径，然后启动命令安装。详情查看：https://opengauss.org。
2024-07-24 07:43:42
498
原创 opengauss卸载迁移工具
详情查看：https://docs-opengauss.osinfra.cn。在命令行运行这条命令可以卸载所有功能用到的迁移工具。详情查看：https://opengauss.org。
2024-07-23 14:35:55
103
原创 opengauss 停止计划
输入指令后，这个进程会退出，而正在执行计划的workspace.id为3的portal主进程会接收到停止计划的消息，从而停止计划。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:34:48
262
原创 opengauss 在/ops/portal/config目录的currentPlan文件中自定义迁移计划
在currentPlan中每行填入一条启动单个迁移任务的指令，如start_mysql_full_migration，start_mysql_incremental_migration等。详情查看：https://docs-opengauss.osinfra.cn。增量校验的上一项一定是增量迁移，全量校验的上一项一定是全量迁移。详情查看：https://opengauss.org。如果顺序错误则portal报错。每个单项任务只能添加一次。
2024-07-23 14:34:17
89
原创 opengauss启动指令列表
详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:33:44
117
原创 opengauss增量迁移和反向迁移
并且需要注意的是：增量迁移和反向迁移不能同时开启，如果一个计划中包含了增量迁移和反向迁移，那么需要用户手动停止增量迁移，启动反向迁移。输入指令后，这个进程会退出，而正在执行计划的workspace.id为3的portal主进程会接收到启动反向迁移的消息，从而启动反向迁移，此时portal一直处于反向迁移状态。输入指令后，这个进程会退出，而正在执行计划的workspace.id为3的portal主进程会接收到停止增量迁移的消息，从而停止增量迁移，等待下一步指令。
2024-07-23 14:33:11
267
原创 opengauss 计划列表
详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:32:40
102
原创 opengauss 执行迁移计划
启动迁移计划时需要添加参数，这样不同的迁移计划可以根据不同的workspace.id进行区分，如果不添加的话，workspace.id默认值为1。portal支持启动多个任务执行不同的迁移计划，但是要求各迁移计划使用的MySQL实例和openGauss数据库互不相同。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:32:00
154
原创 opengauss 指定位置自行配置工具自身的所用参数
除了配置迁移所用基本参数外，用户还可在指定位置自行配置工具自身的所用参数。但是portal会默认修改工具自身的临时文件和日志位置，并分配部分工具自身所用的端口。用户可自行查看并修改工具的配置文件，默认工具配置文件位置如下表。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:31:27
316
原创 opengauss 配置参数
如果使用的workspace.id和之前存在的workspace.id相同的话将沿用之前的workspace里面的参数，如果不同的话，那么portal将从config文件夹中复制一份配置文件到id对应的workspace下面作为这个任务的配置文件。用户可以在/ops/portal/config目录的migrationConfig.properties文件中修改迁移所用参数。详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:30:54
364
原创 opengauss 安装指令
详情查看：https://docs-opengauss.osinfra.cn。详情查看：https://opengauss.org。
2024-07-23 14:30:20
423
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人