解决了人大金仓KingbaseFlysync(KFS) 源端Oracle redo方式不解析数据，日志中报日志文件读取失败或日志文件不属于自己的问题

最新推荐文章于 2024-10-16 11:14:53 发布
最新推荐文章于 2024-10-16 11:14:53 发布
阅读量117 收藏
点赞数
文章标签： 金仓数据库 kingbase 数据库 人大金仓 DBA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arthemis_14/article/details/133757572
版权

关键字

KingbaseFlysync，KFS，Oracle，redo，asm，不解析，file read error，break and loop again，not belong to me

问题描述

源端Oracle redo方式部署KFS，部署完成后，同步的表有增量，但是KFS没有解析出增量数据，查看KFS的日志，在日志中有以下类似的信息：

Extractor.oracleredo.RedoParserThread file read error:file=xxxxx offset=xxx,break and loop again

或

[oracle - RedoParserThread-1] INFO extractor.oracle.redo.RedoPaserThread skip file that not belong to me : xxxx

经过排查，发现对应的日志文件存在，且配置的用户有权限读取日志文件。

问题分析

源端数据库部署在AIX操作系统上，字节序为大端。KFS配置文件中没有开启大端参数。

解决方案

停止KFS，replicator stop

在flysync.ini中添加字节序为大端参数：

property=replicator.extractor.dbms.bigEndian=true

在KFS的解压目录/tools下执行./fspm update

启动KFS，replicator start

更多信息，参见https://help.kingbase.com.cn/v8/index.html

沉舟侧畔千帆过_
关注
人大金仓 解决金仓KingbaseFlySync同步服务源端DB2报com.ibm.db2.jcc.am.SqlException]的问题
weixin_44312518的博客
07-27 308
3、在DB2inst1用户下，连上相关数据库（使用setupCDC.conf文件中source_user配置的用户），然后执行如下命令：db2 "call ASNCDC.REMOVETABLE('模式名','表名');1、确保需要变更的表上暂无业务数据，且相关业务数据已经完全同步到目标端（如果没有同步完成，执行后续的remove操作后，就可能会丢失相关数据）DB2解析增量数据采用的是CDC方式进行捕获，配置CDC时会记录下当时对应表的表结构（此时会将表中对应的列在ASNCDC模式下记录）。
MySQL+人大金仓+数据迁移
09-09
"MySQL+人大金仓+数据迁移" MySQL 是一个流行的开源关系数据库管理系统，而人大金仓是基于 PostgreSQL 的一款商业数据库管理系统。数据迁移是指将数据从一个数据库管理系统迁移到另一个数据库管理系统的过程。本文...
Oracle安装部署人大金仓KFS同步程序--oracle单机作为目标端时的安装部署
arthemis_14的博客
10-11 208
KingbaseFlySync支持基于Oracle作为目标端的数据同步，本文将介绍Oracle（单机）作为KFS目标端配置。
人大金仓 解决了金仓KingbaseFlysync(KFS) 源端Oracle redo方式不解析数据，日志中报日志文件读取失败或日志文件不属于自己的问题
weixin_44312518的博客
07-28 104
KingbaseFlysync，KFS，Oracle，redo，asm，不解析，file read error，break and loop again，not belong to me。源端数据库部署在AIX操作系统上，字节序为大端。KFS配置文件中没有开启大端参数。经过排查，发现对应的日志文件存在，且配置的用户有权限读取日志文件。3.在KFS的解压目录/tools下执行./fspm update。4.启动KFS，replicator start。1.停止KFS，replicator stop。
人大金仓 解决金仓KingbaseFlysync 源端oracle数据无法解析，日志提示归档找不到归档文件
weixin_44312518的博客
07-28 275
2、执行查询：select name, first_change#, first_time, thread#, sequence# from v$archived_log order by sequence#;Oracle做为源端，KFS没有创建相关进程来限制oracle归档不被删除，如果客户自己删除归档或者oracle定时清理归档，会导致归档不连续，KFS解析的时候会一直查询连续的下一个归档文件，导致解析停止。Oracle源端解析中突然停止解析，KFS状态online，检查日志发现日志中提示找不到归档。
人大金仓 解决了金仓 KingbaseFlysync(KFS) 源端Oracle DataGuard备机解析update操作时，kufl中没有key值或key值不全的问题
weixin_44312518的博客
08-02 174
KingbaseFlysync，KFS，Oracle，DataGuard，DG，redo，备机，有主键，无主键，update，没有key值，key值不全。源端Oracle DataGuard在备机以redo的方式部署KFS，当源端对有主键的表执行update操作后，kufl中没有key值。Oracle DataGuard备库开启了KFS要求的所有补全日志，但是主库只开启了部分补全日志。当源端对无主键表执行update操作后，kufl中的key值不全。开启补全日志 (建议在 MOUNT 模式下执行)
人大金仓 解决金仓KingbaseFlySync同步服务源端报错：Unable to retrieve column metadata
weixin_44312518的博客
07-27 211
KFS由于报错触发了重连重试，且每次重连后会从很早的binlog断点开始拉取文件解析，此时因为拉取日志过大又造成超时，所以导致该问题发生。KFS同步数据时（源端mysql）,解析源端binglog日志失败，并且会循环抽取binlog日志，过程中无kufl解析，且日志报错Unable to retrieve column metadata schema=flysync_cdc_141 table=heartbeat。KingbaseFlySync，KFS，同步服务，源端，mysql。
人大金仓KFS比对服务 性能诊断方法-日志分析
weixin_44312518的博客
05-30 835
性能是一种指标，表明软件系统的数据处理效率与及时性，一般及时性用响应时间或吞吐量来衡量。响应时间是对请求做出响应所需要的时间。对于单个事务可以是事务完成所需要的时间；对于用户任务，则是端对端的时间。系统的吞吐量是指特定的时间内能够处理的请求的数量。响应性是系统实现其响应时间或吞吐量目标的能力。可拓展性则是系统在增加其软件功能的情况下，继续实现其响应时间或吞吐量目标端能力。数据比对任务执行时主要包括四个环节：查询排序、读取转换、数据比对、结果入库，流程如下：比对任务源端。
Oracle安装部署人大金仓KFS同步程序--oracle单机作为源端时的安装部署——Redo解析
arthemis_14的博客
10-11 186
Kingbase FlySync支持基于Oracle作为源端的数据同步。KingbaseFlySync现支持基于Oracle作为源端的有2种解析方式，分别为：（1）redo–直接解析redo日志的方式进行数据解析–对源端性能影响较小–KingbaseFlySync可以控制解析的位置和速度，便于断点续传–解析效率高。（2）Logminer–基于解析在线日志的形式，由Logminer做日志解析–对源端性能影响较小–KingbaseFlySync可以控制解析的位置和速度，便于断点续传；
Oracle迁移数据到人大金仓V8
Gothic的博客
02-24 5336
1.在任务栏中寻找人大金仓的客户端工具中的数据迁移工具，并打开，在dataTransfer中新建数据库连接 2.在新建数据库连接中填入源数据库的信息然后测试连接成功后确定，切记数据库名为服务名 3.创建一个人大金仓的数据库目标连接 4.在执行数据库迁移任务中新建一个任务 5.定义迁移任务名称，选择源数据库以及目标数据库 6.新建的迁移任务如下所示 7/点击...
oracle转换人大金仓全过程
Denial_learn的博客
11-02 1203
数字库开发管理工具：链接人大金仓数据库，对数据进行操作数据迁移工具：启动迁移系统，浏览器输入loaclhost:8080/#/login进入kingbaseDTS数据库迁移工具系统页面，账户密码将自动带入。
人大金仓安装与数据迁移(windows)
03-16
本文将详细介绍如何在Windows操作系统上安装人大金仓数据库（kingbase SE V8），以及如何进行数据迁移，特别是从MySQL迁移到金仓数据库。 首先，我们需要从人大金仓官方网站下载数据库安装包和授权码。下载地址为：...
nacos+人大金仓数据源
08-07
标题 "nacos+人大金仓数据源" 指的是将Nacos与人大金仓数据库集成，用于管理和配置数据源。Nacos是一个由阿里开源的动态服务发现、配置管理和服务管理平台，而人大金仓是国产数据库管理系统，常用于政府、企事业单位...
MySQL数据库的详细学习步骤
2401_87352036的博客
10-11 1236
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
PyQt 的Tree Widget中拖放和点击的异常行为
weixin_44617651的博客
10-10 523
在 PyQt 的 ​​QTreeWidget​​ 中，如果你遇到 拖放 和 点击 的异常行为，可能是由于信号处理、事件拦截、拖放设置或树结构配置等问题导致的。以下是一些可能的常见问题和解决方案。
Rdis的应用，示例，四种模式单机模式、主从模式、哨兵模式、集群模式
最新发布
weixin_66568937的博客
10-16 492
为此， Redis 提供了复制（replication）功能，可以实现当一台数据库中的数据更新后，自动将更新的数据同步到其他数据库上。主从模式在很多系统设计时都会考虑，一个master挂在多个slave节点，当master服务宕机，会选举产生一个新的master节点，从而保证服务的高可用性。从上面很容易就想到一个问题，既然主从复制，意味着master和slave的数据都是一样的，有数据冗余问题。替换原来的故障节点。刚刚提到了，主从模式，当主节点宕机之后，从节点是可以作为主节点顶上来，继续提供服务的。
基于SSM班级事务管理系统的设计
2401_87849773的博客
10-15 330
管理员账户功能包括：系统首页，个人中心，学生管理，班委管理，班会组织管理，健康档案管理，党员发展管理，党员培训管理，学生成绩管理。主要技术：Java,Spring,mybatis,mysql,jquery,html。班委账号功能包括：系统首页，学生管理，学生成绩管理，活动信息管理，班费通知管理。服务器：SpringBoot自带 apache tomcat。JDK版本：Java JDK1.8。数据库可视化工具： navicat。数据库版本： mysql5.7。开发系统：Windows。
mysql锁之乐观锁、悲观锁、表锁、行锁、共享锁、排他锁
qq_68883928的博客
10-14 614
锁是计算机协调多个进程或线程并发访问某一个资源的机制，在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所在有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。
Nacos与人大金仓数据源集成解决方案
总的来说，nacos配送数据源人大金仓源码实现了在Nacos的基础上，通过动态配置和配送的方式，实现对人大金仓数据源的有效管理和使用。这对于需要使用人大金仓数据库的大型企业来说，提供了一种高效、灵活、安全的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值