OGG同步的人工数据一致性校验(Oracle到Oracle)

由于暂时没有办法在源端做一些额外的操作,所以,使用OGG同步的数据就需要人工去进行校验。在这里分享一下我的校验方法,请大家多多指正。我会逐步完善这篇帖子。

  1. 行数的比对
    行数的校验使用count的方式来进行对比
select count(1) from owner.table_name;
  1. 哈希值的比对
    哈希值的校验,是通过数据库的dbms_utility.get_hash_value,来获取表的每一行的哈希值来进行对比,然后通过sum取所有行的哈希值的总数,来进行源端和目标端的比对。此方法有一个缺陷,就是表的字段总大小不能超过4000字节。
    (个人想法:对于表的字段总大小超过4000字节的,可以在脚本中将表的字段进行拆分,即脚本1先查询前30个字段的哈希值,脚本2查询30-60的字段的哈希值)
    可以通过下面的脚本来获取表的哈希值。
select 'select sum(dbms_utility.get_hash_value('||column_name_path||',0,power(2,30)) ) '||table_name||'
from '||owner||'.'||table_name||';'  from (select owner,table_name,column_name_path,row_number() 
over(partition by table_name order by table_name,curr_level desc) column_name_path_rank
 from (select owner,table_name,column_name,rank,level as curr_level,
ltrim(sys_connect_by_path(column_name,'||''|''||'),'||''|''||') column_name_path 
from (select owner,table_name,column_name,row_number() over(partition by table_name order by table_name,column_name) rank from dba_tab_columns where owner='&owner'  and table_name='&table_name' order by table_name,column_name) connect by table_name = prior table_name 
and rank-1 = prior rank)) where column_name_path_rank=1;

注:该脚本是在网上查到的,经过测试,是可以正常生成查询表的哈希值。

  1. 表结构比对
    针对第2项检查哈希值的比对,是存在一定的漏洞,因为如果是按照表结构同步,没有开启DDL同步的话,源端修改表结构(增、删、改),或者修改字段类型,那么都会影响数据的一致性校验,除非每次检查时都生成最新的查询表的哈希值的脚本(目前正在准备开发自动化巡检),但是这样又会加大维护的工作量,因此就需要进行表结构的比对,来辅助哈希值的比对。
    在源端和目标端都获取同步的表的建表语句,然后比对两端的建表语句,如果字段和数据类型一致,则不需要修改查询哈希值的脚本,如果存在不一致,则需要修改查询哈希值的脚本(注意,既然表结构不一致,而且又没有开启DDL的复制,那么就需要对该表进行相关操作来保证数据的一致性)。
    获取表的建表语句命令:
select dbms_metadata.get_ddl('TABLE','table_name','owner') FROM DUAL;
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值