Java检测数据库流复制,Streams流复制的异常检测

最新推荐文章于 2024-05-19 10:14:41 发布
最新推荐文章于 2024-05-19 10:14:41 发布
阅读量119 收藏
点赞数
文章标签： Java检测数据库流复制

Streams流复制的异常检测

本文为转载，但基本上属于常识类知识，自己修改一下，附上转载地址：

在使用Streams流复制的过程中，遇到各种错误的时候很常见。在Oracle的文档(Oracle? Streams Concepts and Administration 10g Release 2)上提供了一个异常检测方案。即可以通过Oracle自己的数据字典，来确定具体的传输内容，以便作出相应的调整：

首先在创建这几个过程时，要记得给stradmin用户赋权，使其对dba_apply_error和dbms_apply_adm包有使用权限，即便是stradmin已经具有dba权限，也还是需要进行赋权后才能顺利得创建这几个包，赋权的语句如下所示：

GRANT SELECT ON DBA_APPLY_ERROR TO stradmin;

GRANT EXECUTE ON DBMS_APPLY_ADM TO stradmin;

生成的主要包括四个过程(具体代码见附录)：

print_any

print_lcr

print_errors

print_transaction

前面两个是中间的过程，就不需要了解了，关键是后面的两个过程，用来打印错误的信息。print_errors是用来打印所有的错误信息，但是当错误非常多时，会造成output的溢出，即便设置了很大的值，输出也会很慢，所以又提供了print_transaction过程，用以显示某个单独的错误信息的对应错误说明：

print_transaction的用法是这样的：

SQL> select apply_name,LOCAL_TRANSACTION_ID,SOURCE_TRANSACTION_ID,ERROR_MESSAGE

2  from dba_apply_error;

APPLY_NAME  LOCAL_TRANSACTION_ID  SOURCE_TRANSACTION_ID  ERROR_MESSAGE

----------- ---------------------- ---------------------- -------------------------

APP97_APPLY 5.27.1273              4.46.576              ORA-01403: no data found

SQL> SET SERVEROUTPUT ON SIZE 1000000

SQL> EXEC print_transaction('5.27.1273')

----- Local Transaction ID: 5.27.1273

----- Source Database: TEST201.EYGLE.COM

----Error in Message: 1

----Error Number: 1403

----Message Text: ORA-01403: no data found

--message: 1

type name: SYS.LCR$_ROW_RECORD

source database: TEST201.EYGLE.COM

owner: SCOTT

object: DEPT

is tag null: Y

command_type: UPDATE

old(1): DEPTNO

50

old(2): LOC

CHINA

new(1): LOC

CHINA

PL/SQL procedure successfully completed

关于详细的用法，可以参见下面这个地址，就不转贴了：

附：Check脚本

**************************************************************

CREATE OR REPLACE PROCEDURE print_any (DATA IN ANYDATA)

IS

tn    VARCHAR2 (61);

str  VARCHAR2 (4000);

CHR  VARCHAR2 (1000);

num  NUMBER;

dat  DATE;

rw    RAW (4000);

res  NUMBER;

BEGIN

IF DATA IS NULL

THEN

DBMS_OUTPUT.put_line ('NULL value');

RETURN;

END IF;

tn := DATA.gettypename ();

IF tn = 'SYS.VARCHAR2'

THEN

res := DATA.getvarchar2 (str);

DBMS_OUTPUT.put_line (SUBSTR (str, 0, 253));

ELSIF tn = 'SYS.CHAR'

THEN

res := DATA.getchar (CHR);

DBMS_OUTPUT.put_line (SUBSTR (CHR, 0, 253));

ELSIF tn = 'SYS.VARCHAR'

THEN

res := DATA.getvarchar (CHR);

DBMS_OUTPUT.put_line (CHR);

ELSIF tn = 'SYS.NUMBER'

THEN

res := DATA.getnumber (num);

DBMS_OUTPUT.put_line (num);

ELSIF tn = 'SYS.DATE'

THEN

res := DATA.getdate (dat);

DBMS_OUTPUT.put_line (dat);

ELSIF tn = 'SYS.RAW'

THEN

-- res := data.GETRAW(rw);

-- DBMS_OUTPUT.PUT_LINE(SUBSTR(DBMS_LOB.SUBSTR(rw),0,253));

DBMS_OUTPUT.put_line ('BLOB Value');

ELSIF tn = 'SYS.BLOB'

THEN

DBMS_OUTPUT.put_line ('BLOB Found');

ELSE

DBMS_OUTPUT.put_line ('typename is ' || tn);

END IF;

END print_any;

/

CREATE OR REPLACE PROCEDURE print_lcr (lcr IN ANYDATA)

IS

typenm    VARCHAR2 (61);

ddllcr    SYS.lcr$_ddl_record;

proclcr    SYS.lcr$_procedure_record;

rowlcr    SYS.lcr$_row_record;

res        NUMBER;

newlist    SYS.lcr$_row_list;

oldlist    SYS.lcr$_row_list;

ddl_text  CLOB;

ext_attr  ANYDATA;

BEGIN

typenm := lcr.gettypename ();

DBMS_OUTPUT.put_line ('type name: ' || typenm);

IF (typenm = 'SYS.LCR$_DDL_RECORD')

THEN

res := lcr.getobject (ddllcr);

DBMS_OUTPUT.put_line (  'source database: '

|| ddllcr.get_source_database_name

);

DBMS_OUTPUT.put_line ('owner: ' || ddllcr.get_object_owner);

DBMS_OUTPUT.put_line ('object: ' || ddllcr.get_object_name);

DBMS_OUTPUT.put_line ('is tag null: ' || ddllcr.is_null_tag);

DBMS_LOB.createtemporary (ddl_text, TRUE);

ddllcr.get_ddl_text (ddl_text);

DBMS_OUTPUT.put_line ('ddl: ' || ddl_text);

-- Print extra attributes in DDL LCR

ext_attr := ddllcr.get_extra_attribute ('serial#');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('serial#: ' || ext_attr.accessnumber ());

END IF;

ext_attr := ddllcr.get_extra_attribute ('session#');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('session#: ' || ext_attr.accessnumber ());

END IF;

ext_attr := ddllcr.get_extra_attribute ('thread#');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('thread#: ' || ext_attr.accessnumber ());

END IF;

ext_attr := ddllcr.get_extra_attribute ('tx_name');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line (  'transaction name: '

|| ext_attr.accessvarchar2 ()

);

END IF;

ext_attr := ddllcr.get_extra_attribute ('username');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('username: ' || ext_attr.accessvarchar2 ());

END IF;

DBMS_LOB.freetemporary (ddl_text);

ELSIF (typenm = 'SYS.LCR$_ROW_RECORD')

THEN

res := lcr.getobject (rowlcr);

DBMS_OUTPUT.put_line (  'source database: '

|| rowlcr.get_source_database_name

);

DBMS_OUTPUT.put_line ('owner: ' || rowlcr.get_object_owner);

DBMS_OUTPUT.put_line ('object: ' || rowlcr.get_object_name);

DBMS_OUTPUT.put_line ('is tag null: ' || rowlcr.is_null_tag);

DBMS_OUTPUT.put_line ('command_type: ' || rowlcr.get_command_type);

oldlist := rowlcr.get_values ('old');

FOR i IN 1 .. oldlist.COUNT

LOOP

IF oldlist (i) IS NOT NULL

THEN

DBMS_OUTPUT.put_line ('old(' || i || '): '

|| oldlist (i).column_name

);

print_any (oldlist (i).DATA);

END IF;

END LOOP;

newlist := rowlcr.get_values ('new', 'n');

FOR i IN 1 .. newlist.COUNT

LOOP

IF newlist (i) IS NOT NULL

THEN

DBMS_OUTPUT.put_line ('new(' || i || '): '

|| newlist (i).column_name

);

print_any (newlist (i).DATA);

END IF;

END LOOP;

-- Print extra attributes in row LCR

ext_attr := rowlcr.get_extra_attribute ('row_id');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('row_id: ' || ext_attr.accessurowid ());

END IF;

ext_attr := rowlcr.get_extra_attribute ('serial#');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('serial#: ' || ext_attr.accessnumber ());

END IF;

ext_attr := rowlcr.get_extra_attribute ('session#');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('session#: ' || ext_attr.accessnumber ());

END IF;

ext_attr := rowlcr.get_extra_attribute ('thread#');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('thread#: ' || ext_attr.accessnumber ());

END IF;

ext_attr := rowlcr.get_extra_attribute ('tx_name');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line (  'transaction name: '

|| ext_attr.accessvarchar2 ()

);

END IF;

ext_attr := rowlcr.get_extra_attribute ('username');

IF (ext_attr IS NOT NULL)

THEN

DBMS_OUTPUT.put_line ('username: ' || ext_attr.accessvarchar2 ());

END IF;

ELSE

DBMS_OUTPUT.put_line ('Non-LCR Message with type ' || typenm);

END IF;

END print_lcr;

/

CREATE OR REPLACE PROCEDURE print_errors

IS

CURSOR c

IS

SELECT  local_transaction_id, source_database, message_number,

message_count, error_number, error_message

FROM dba_apply_error

ORDER BY source_database, source_commit_scn;

i        NUMBER;

txnid    VARCHAR2 (30);

SOURCE  VARCHAR2 (128);

msgno    NUMBER;

msgcnt  NUMBER;

errnum  NUMBER        := 0;

errno    NUMBER;

errmsg  VARCHAR2 (255);

lcr      ANYDATA;

r        NUMBER;

BEGIN

FOR r IN c

LOOP

errnum := errnum + 1;

msgcnt := r.message_count;

txnid := r.local_transaction_id;

SOURCE := r.source_database;

msgno := r.message_number;

errno := r.error_number;

errmsg := r.error_message;

DBMS_OUTPUT.put_line

('*************************************************');

DBMS_OUTPUT.put_line ('----- ERROR #' || errnum);

DBMS_OUTPUT.put_line ('----- Local Transaction ID: ' || txnid);

DBMS_OUTPUT.put_line ('----- Source Database: ' || SOURCE);

DBMS_OUTPUT.put_line ('----Error in Message: ' || msgno);

DBMS_OUTPUT.put_line ('----Error Number: ' || errno);

DBMS_OUTPUT.put_line ('----Message Text: ' || errmsg);

FOR i IN 1 .. msgcnt

LOOP

DBMS_OUTPUT.put_line ('--message: ' || i);

lcr := DBMS_APPLY_ADM.get_error_message (i, txnid);

print_lcr (lcr);

END LOOP;

END LOOP;

END print_errors;

/

CREATE OR REPLACE PROCEDURE print_transaction (ltxnid IN VARCHAR2)

IS

i        NUMBER;

txnid    VARCHAR2 (30);

SOURCE  VARCHAR2 (128);

msgno    NUMBER;

msgcnt  NUMBER;

errno    NUMBER;

errmsg  VARCHAR2 (128);

lcr      ANYDATA;

BEGIN

SELECT local_transaction_id, source_database, message_number,

message_count, error_number, error_message

INTO txnid, SOURCE, msgno,

msgcnt, errno, errmsg

FROM dba_apply_error

WHERE local_transaction_id = ltxnid;

DBMS_OUTPUT.put_line ('----- Local Transaction ID: ' || txnid);

DBMS_OUTPUT.put_line ('----- Source Database: ' || SOURCE);

DBMS_OUTPUT.put_line ('----Error in Message: ' || msgno);

DBMS_OUTPUT.put_line ('----Error Number: ' || errno);

DBMS_OUTPUT.put_line ('----Message Text: ' || errmsg);

FOR i IN 1 .. msgcnt

LOOP

DBMS_OUTPUT.put_line ('--message: ' || i);

lcr := DBMS_APPLY_ADM.get_error_message (i, txnid);    -- gets the LCR

print_lcr (lcr);

END LOOP;

END print_transaction;

/

**************************************************************

weixin_39994438
关注
Apache Flink®极简教程: 架构及原理 Stateful Computations over Data Streams
AI天才研究院
12-28 9310
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams关键词分布式流处理分布式计算引擎All s...
Java基础常见面试题及详细答案（总结40个）
热门推荐
ayouki123456的博客
05-26 3万+
最近看到网上流传着各种面试经验及面试题，往往都是一大堆技术题目贴上去，但是没有答案。 为此我业余时间整理了40道Java基础常见的面试题及详细答案，望各路大牛发现不对的地方不吝赐教，留言即可。 八种基本数据类型的大小，以及他们的封装类 引用数据类型 Switch能否用string做参数 equals与==的区别 自动装箱，常量池 Object有哪些公用方法 Java的四种引用，强弱软虚，用到的场景 Hashcode的作用 HashMap的hashcode的作用 为什么重载hashCod
Streams流复制的异常检测
我的Oracle DBA之路
01-03 359
http://www.eygle.com/archives/2007/11/streams_print_transaction.html
stream copy error: reading from a closed fifo问题排查
暴走乔巴
03-16 1万+
stream copy error: reading from a closed fifo
Java8的stream的注意问题：数组转流，类型问题
剑雨江湖
05-17 1053
一、数组的转流的问题 public static void arrTest() { int[] arr = {1, 2, 3, 4, 5}; Arrays.stream(arr).map(x -> x+"").toArray(); Stream.of(1, 2, 3, 4, 5).map(x -> x+"").toArray(); } 使用Arrays.stream 转为流时，基础数据类型会被转成对应的流对象。而不是我们常用的Stea
PG学习笔记（1）—— 主从复制：流复制
LanceJerry的博客
03-21 3129
PG学习笔记（1）—— 主从复制：流复制 闲云野鹤，乡夫俗子，不过一隅静土。 背景 PostgreSQL 9.1之前，主从复制传输以WAL日志文件为单位，主库写完WAL日志后再传输给从库，导致主从延迟较大。基于这种情况，PostgreSQL 9.1引入主从流复制，以WAL日志的record为传输单位，从库及时同步主库数据，并且应用每个WAL record，因此能做到同步复制。另外实现了Hot Standby，从库在应用WAL record的同事能够提供制度服务。 架构 PG主从流复制的核心有三个进程构成：
【Java I_O流最佳实践】：代码重构与设计模式的完美融合
![【Java I_O流最佳实践】：代码重构与设计模式的完美融合](https://img-blog.csdnimg.cn/cd103d37663a4b5c8254aab931f127ed.png) ...I/O流（Input/Output streams）是一组用于处理不同类型数据的类。数据流可
Java开发面试题精选：Kafka相关一篇全搞定
最新发布
凡夫编程
05-19 461
在Java开发工程师面试中，特别是涉及到Apache Kafka的部分，面试官可能会从基础知识、架构理解、实际应用、故障排查和性能优化等多个维度来考察您的能力。这篇文章会将一些大概率被问到的面试题目梳理出来，并且告诉应该怎么回答它，不管你求职者在准备面试，还是面试官在准备招聘，这篇文章都非常值得一读，感觉还不错，别忘了收藏起来，以防迷路找不到。
Hibernate_3.2.0_符合Java习惯的关系数据库持久化
01-14
HIBERNATE - 符合Java习惯的关系数据库持久化 Hibernate参考文档 3.2 -------------------------------------------------------------------------------- 目录 前言 1. 翻译说明 2. 版权声明 1. Hibernate...
Kafka消息队列安装与使用（三）
木讷的鱼
10-22 467
Kafka消息队列安装与使用（三）四. Kafka API的使用4.1 Producer API4.1.1 消息发送流程4.1.2 异步发送 API4.1.3 同步发送 API4.2 Consumer API4.2.1 自动提交 offset4.2.2 手动提交 offset4.2.3 自定义存储 offset 四. Kafka API的使用 4.1 Producer API 4.1.1 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程—
DBA_ERRORS错误一例
数据库
04-24 198
数据库版本10.2.0.4<wbr style="line-height:25px"></wbr> 首先这个东西记录了PL/SQL的一些错误信息，具体含义大家自己网上查查吧 其实这个错误是接着上次expdp的时候出现的，上次执行的脚本： $ORACLE_HOME/rdbms/admin/catmet2.sql $ORACLE_HOME/rdbms/admin/utl...
配置oracle时进程出错,配置Oracle Streams时在删除进程出错ORA-26663
weixin_39893274的博客
04-13 108
配置Streams时在删除进程出错ORA-26663:SQL> exec dbms_apply_adm.drop_apply('TARGET_APPLY_STREAM');BEGIN dbms_apply_adm.drop_apply('TARGET_APPLY_STREAM'); END;*ERROR at line 1:ORA-26663: error queue for apply p...
流配置异常(ORA-01403)的完整解决过程
10-18 1401
转自: yangtingkun blog在检查DBA_APPLY_ERROR视图，发现了很多应用失败的事务，失败错误原因为：ORA-01403: no data found。数据库的流配置在应用阶段设置DISABLE_ON_ER...
ORA-26663 Oracle Streams 在删除进程出错
weixin_34269583的博客
03-11 131
ORA-26663 Oracle Streams 在删除进程出错 配置Streams时在删除进程出错ORA-26663: SQL> exec dbms_apply_adm.drop_apply('TARGET_APPLY_STREAM'); BEGIN dbms_apply_adm.drop_apply('TARGET_APPLY_STRE...
关于流复制中可能遇到的问题及解决方案（一）捕获阶段。
henrybai的专栏--大亨利白--大码
06-17 2312
捕获阶段：应该想到的是：捕获进程的状态，数据库的参数设置，关于RULE的设置，错误信息的提示。 解决方案：检查捕获进程的状态：SELECT capture_name, status_change_time,        error_number, error_messageFROM DBA_CAPTURE;正确的状态应该是enabled。可能的状态：enabled, d
Oracle Stream ORA-01403 错误的解决
Safuel的专栏
11-17 9483
Oracle stream 01403
一次流复制错误的处理过程(ORA-01403)
11-23 157
流复制上线已经有段时间了，具体环境及详细配置见之前的blog，一直都没什么问题，今天早上过来的时候发现，apply进程abort掉了，propagation进程也报错，相关入队速度的问题，不过只是个警告，就没多过问，明天就要正式...
流复制报ORA-26687错误，警告日志报Streams APPLY A001 with pid=22, OS id=22929 stopped
haofeifei的专栏
03-26 2001
操作系统：Redhat5.6 源数据库：oracle11.2.0.1 目标数据库：oracle10.2.0.5 问题症状：配置好流复制后，测试流复制，在源端插入数据，目标端查询，发现没有数据 分析处理过程： 1.目标库的警告日志中报错： Wed Mar 26 10:44:19 CST 2014 Streams APPLY A001 started with pid=2
ORACLE数据库复制：高级复制与流复制对比分析
"ORACLE数据库复制技术包括高级复制和流复制，用于解决大规模只读数据的查询统计问题，避免对主数据库性能的影响。高级复制基于触发器，适用于表、索引和存储过程的复制，而流复制利用归档日志进行增量备份，支持更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值