最近公司开始用stream来做BI的数据同步,开始时还算顺利,做的downstream数据库表级复制,结果过了半个月要往里面加新的表,结果重启stream后destination库的apply进程开始报错,虽然DISABLE_ON_ERROR已经设置为N,但是错误越来越多,没有办法只好开始研究,从开始到最终解决问题过程比较曲折,还经历过重新impdp表,现在记录一下解决过程备忘。
首先贴上几个过程,当时找了很久,metalink上找了半天,这个过程是用于输出apply的错误信息的,否则在dba_apply_error里面什么都看不到。
1.print_any
2.print_errors
3.print_lcr
4.print_transaction
这4个过程的具体用法就不记录了,简单易懂的。
通过这些输出后发现一个translation里面往往有很多条修改(不只是一张表),我这里最多的一个里面居然有11W条修改,当时真是崩溃。。
错误越来越多的原因就是一个translation里面那么多修改,而只要有一个出现ora-01403那整个translation都无法执行下去,这样就会造成连锁反应,后面的数据不停的报错,最后整个stream不可用只能重新导入。
发现这个问题的产生是由于很多update导致的,比如将table1中的id=2,name=2的记录修改为name=3,stream会去查找id=2 and name=2的记录,如果找不到就报ORA-01403,这样几乎不可能修复数据(一个表上百个字段不可能一个一个去对比),最后网上搜索了一下,发现oracle的stream提供了一个update的冲突解决过程DBMS_APPLY_ADM.SET_UPDATE_CONFLICT_HANDLER,对于这个过程中resolution_column的意义我到目前还不是很理解,这里参考了别人的blog,等研究清楚在将记录补齐。设置完这个后update的冲突解决了,附上blog的内容和我用来批量生成脚本的sql
sql如下:
blog的内容如下:
SQL> SELECT * FROM HZ.T1;
ID VNAME QTY VADDR VSEX
---------- -------------------- ---------- ---------- ----------
1 guangzhou 100 111 333
2 111 200 111 333
ID VNAME QTY VADDR VSEX
---------- -------------------- ---------- ---------- ----------
1 guangzhou 100 111 333
2 333 200 111 333
STATUS
--------
ABORTED
APPLY_NAME LOCAL_TRANSACTION_ID ERROR_MESSAGE
------------ ---------------------- -------------------------------------------------------------------------------- -
APPLY_STANDY 5.13.848 ORA-26786: A row with key ("ID") = (2) exists but has conflicting column(s) "VNA
SQL> EXEC DBMS_APPLY_ADM.execute_error('5.13.848');
begin DBMS_APPLY_ADM.execute_error('5.13.848'); end;
ORA-23460: 列 "QTY" 的值丢失, 在解析方法 "OVERWRITE" 中用于 "HZ"."T1"."REP_UPDATE"
ORA-26786: 键为 ("ID") = (2) 的行存在, 但具有冲突列 "VNAME" (在表 HZ.T1 中)
ORA-01403: 未找到任何数据
ORA-06512: 在 "SYS.DBMS_APPLY_ERROR", line 151
ORA-06512: 在 "SYS.DBMS_APPLY_ERROR", line 265
ORA-06512: 在 "SYS.DBMS_APPLY_ADM", line 467
ORA-06512: 在 line 2
4.删除现有的冲突定义
5.重新定义新的冲突方式,字段值列出vname字段看效果
6.再次执行错误的事务号,执行成功了。
SQL> EXEC DBMS_APPLY_ADM.execute_error('5.13.848');
PL/SQL procedure successfully completed
7.查看目标库的记录,已经更新了
SQL> select * from hz.t1;
ID VNAME QTY VADDR VSEX
---------- -------------------- ---------- ---------- ----------
1 guangzhou 100 111 333
2 333 200 111 333
1.目标库更新:
SQL> update hz.t1 set vaddr='guangzhou',qty=1 where id=1;
1 row updated
SQL> commit;
Commit complete
SQL> SELECT * FROM hz.T1;
ID VNAME QTY VADDR VSEX
---------- -------------------- ---------- ---------- ----------
1 666 1 guangzhou 333
2 333 200 111 333
SQL> update hz.t1 set vaddr='aaa' where id=1;
1 row updated
SQL> commit;
Commit complete
3.应用出错.
SQL> select status from dba_apply;
STATUS
--------
ABORTED
------------ --------------------------------------------------------------------------------
26786 ORA-26786: A row with key ("ID") = (1) exists but has conflicting column(s) "VAD
SQL> exec dbms_apply_adm.execute_error('2.12.797');
begin dbms_apply_adm.execute_error('2.12.797'); end;
ORA-26786: 键为 ("ID") = (1) 的行存在, 但具有冲突列 "VADDR" (在表 HZ.T1 中)
ORA-01403: 未找到任何数据
ORA-06512: 在 "SYS.DBMS_APPLY_ERROR", line 151
ORA-06512: 在 "SYS.DBMS_APPLY_ERROR", line 265
ORA-06512: 在 "SYS.DBMS_APPLY_ADM", line 467
ORA-06512: 在 line 2
4.只好把所有更新的字段一个个写入冲突方式中,
SQL> exec dbms_apply_adm.execute_error('2.12.797');
PL/SQL procedure successfully completed
SQL> SELECT * FROM hz.T1;
ID VNAME QTY VADDR VSEX
---------- -------------------- ---------- ---------- ----------
1 666 1 aaa 333
2 333 200 111 333
7. dba_apply_conflict_columns 表的记录。
SQL> select OBJECT_OWNER,OBJECT_NAME,METHOD_NAME,RESOLUTION_COLUMN,COLUMN_NAME from dba_apply_conflict_columns WHERE OBJECT_NAME='T1';
OBJECT_OWNER OBJECT_NAME METHOD_NAME RESOLUTION_COLUMN COLUMN_NAME
------------- ------------- ------------- ----------------------- ------------------------------
HZ T1 OVERWRITE QTY QTY
HZ T1 OVERWRITE VADDR VADDR
HZ T1 OVERWRITE VNAME VNAME