GoldenGate自动归档discard文件

11 篇文章 0 订阅
10 篇文章 1 订阅

1.背景

GoldenGate重要的日志文件有2个:ggserr.log和discard文件。

  1. ggserr.log记录重要的日志,如进程启停、进程失败abend及响应ggsci命令的响应输出。
  2. discard文件,是丢弃文件,在备机端,同步环境没有问题的前提下,在执行具体某个sql时失败,会把执行失败的sql放入到discard文件。

由此看出,discard文件很重要,是运维发现哪些表主从不一致的重要线索。

2.当前环境的问题

当前设置如下:

discardfile ./dirrpt/rept01.dsc , purge,megabytes 100

会出现2个问题:

  1. discard文件太小:只有200M,持续运行N天后,会满。
  2. discard文件会被覆盖:尤其重启replicat进程后,文件会被清空。

3.解决方法

修改控制参数,相关参数包括:

3.1.追加还是清空

指定discard文件名时一起设定为append追加。并调整最大大小。

Syntax DISCARDFILE <file name> 
	[, APPEND | PURGE] 
	[, MAXBYTES <n> | MEGABYTES <n>]

同时,如果文件大小超限后,进程就会退出,顾大小尽量设大。
To set an upper limit for the size of the file, use either the MAXBYTESor MEGABYTESoption. If the specified size is exceeded, the process will abend.

3.2. 定期归档

使用参数:discardrollover
本参数指定个时点,当到达时点时,自动归档discard文件。归档文件的格式是,<group name><n>.<extension>。

3.3.修改后

discardfile ./dirrpt/rept01.dsc , append,megabytes 2048
discardrollover at 05:30

经过观察,

  1. 确实在每天的05:30,自动创建个新的discard文件。
  2. 最新的归档总是从0号开始。假设现在已有2个归档文件,rept010.dsc\rept011.dsc;新归档后,已有的更名为rept010.dsc->rept011.dsc,rept011.dsc->rept012.dsc,新的归档文件名为rept010.dec。
  3. 发现一个问题,虽然新生成了文件,但文件整个生命周期内,没有任何数据。
    对比之前的内容,至少也该有类似trail文件切换的系想你;还有,中间有过4天数据不同步,肯定有无法更新、或删除的记录才对。具体看handlecollisions参数介绍
 第1章 goldengate概述   1.1 goldengate的历史   1.2 goldengate家族   1.3 goldengate及oracle产品战略   1.4 goldengate支持的平台以及数据库   1.5 goldengate的定位   1.6 goldengate技术架构   1.7 goldengate的复制模式   1.8 各种应用模式展示   1.9 goldengate拓扑结构   1.10 goldengate 10g/11g新特性   1.11 goldengate的优势   1.12 goldengate应用情况  第2章 windows平台oracle-oracle的单向复制   2.1 目标概述   2.2 goldengate在windows平台的安装   2.3 配置goldengate进程组   2.4 验证dml复制结果     第3章 linux平台oracle rac-oracle standalone复制   3.1 目标概述   3.2 goldengate在linux平台的安装   3.3 配置源端进程组   3.4 配置目标端进程   3.5 dml测试 第2篇 基础篇  第4章 目标端数据初始化   4.1 目标端数据库初始化同步的方法及比较   4.2 数据库自带工具初始化   4.3 oracle的rman在线初始化   4.4 goldengate initial load直接传输初始化   4.5 goldengate initial load使用文件传输初始化  第5章 为oracle数据库配置ddl同步   5.1 不支持及有限支持的ddl类型   5.2 ddl处理方法   5.3 ddl复制的配置  第6章 ibm aix平台sybase-oracle数据库复制   6.1 目标概述   6.2 goldengate for sybase在aix 5.3上的安装注意事项   6.3 使用defgen生成数据表定义文件   6.4 配置源端进程   6.5 配置目标端进程  第7章 实际应用中常见场景及案例分析   7.1 目标概述   7.2 一对多复制   7.3 多对一复制   7.4 级联复制   7.5 数据的转换   7.6 双业务中心场景  第8章 goldengate日常维护   8.1 长事务处理   8.2 源端和目标端增减复制表   8.3 数据表重新同步   8.4 给数据库打补丁   8.5 给goldengate程序打补丁 第3篇 提高篇  第9章 goldengate错误分析与处理   9.1 goldengate常见异常处理   9.2 使用reperror进行错误处理   9.3 ddlerror处理ddl复制错误   9.4 discardfile记录进程错误信息   9.5 goldengate常见错误分析   9.6 中文表/中文字段处理   9.7 logdump分析工具  第10章 goldengate的安全特性   10.1 加密trail文件   10.2 加密数据库密码   10.3 网络传输加密   10.4 使用cmdsec进行权限控制  第11章 对goldengate的监控   11.1 使用ggsci命令监控   11.2 ggserr.log日志监控   11.3 日常运维监控的自动化脚本   11.4 使用goldengate director监控   11.5 web监控界面  第12章 使用goldengate veridata进行数据校验   12.1 goldengate veridata概述   12.2 安装goldengate veridata   12.3 配置goldengate veridata的安全属性   12.4 运行goldengate veridata程序进行数据比较  第13章 goldengate性能调整与优化   13.1 目标概述   13.2 extract进程优化   13.3 pump进程组的优化   13.4 replicat进程组的优化 第4篇 资料篇  第14章 goldengate实施的相关准备工作   14.1 前期准备的注意事项   14.2 生产库的信息收集   14.3 rman初始化方案  第15章 goldengate认证操作系统及数据库矩阵
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值