oracle ogg 删除,OGG删除过期的trail文件，shell实现

最新推荐文章于 2024-03-21 15:59:31 发布
最新推荐文章于 2024-03-21 15:59:31 发布
阅读量654 收藏
点赞数
文章标签： oracle ogg 删除

脚本主要实现对OGG进程过期trail文件的删除处理。

脚本只实现对已经读取的文件进行删除，如果stop或ABENDED的话也不会出问题，因为只删除已读取的文件，未读取不做操作。

脚本可以多个进程读取相同的trail做判断。

脚本可以对相对路径处理，和比对判断。

脚本下载：

脚本使用：

-h获取帮助

-p指定进程类型

extract,replicat和all

#!/bin/bash

#by raysuen

#v02

ComGgsci=/u01/ggs/ggsci         #指定ggsci的绝对路径

ExtractTrailDir=/u01/ggs/dirdat        #指定trail文件的目录

keepfiles=1                     #指定保留文件的数量

rmlog=/u01/scripts/ray/RmOGGTrail.log    #指定删除脚本的日志，记录删除那些trail文件

##################################################################

#获取所有extract 进程信息

##################################################################

getOGGExtractInfo(){

${ComGgsci}<

info extract *

RAY

}

##################################################################

#获取进程信息checkpoint信息

##################################################################

getOGGExtractShowch(){

${ComGgsci}<

info $1 showch

RAY

}

##################################################################

#函数：删除投递进程指定保留数量前的trail文件

##################################################################

deleteExtractfile(){

echo "################################# delete Extract tail #################################" >> ${rmlog}

##################################################################

#按照指定进程名称，删除指定保留数量前的日志

##################################################################

arrayExtract=()

arrayExtractNum=0

isupdate=0

for i in `getOGGExtractInfo |  egrep -v "GGSCI|^$" | sed -n '/EXTRACT/,$p' | awk -v dumpfile="" -v mynum=1 '{if($1=="EXTRACT") {dumpfile=$2;mynum=1} else if(($4!="Oracle")&&(mynum==3)){print dumpfile;mynum++}else mynum++}'`  #获取所有的投递进程名称

do

#获取指定投递进程的当前读取的checkpoint信息

extractInfo=`getOGGExtractShowch $i  | sed -n '/Read Checkpoint #1/,/Write Checkpoint #1/p' | grep -A 4 "Current Checkpoint"`  #getOGGExtractShowch $i  | sed -n '/Read Checkpoint #1/,/Write Checkpoint #1/p' | grep -A 4 "Current Checkpoint" | awk -v seqno=0 -v trailname="" '{if($1=="Sequence") {seqno=$3} else if($1$2=="ExtractTrail:") {trailname=$3}}END{for(i=6-length(seqno);i>=1;i--) trailname=trailname"0";print trailname""seqno}'

#获取投递进程读取的trail文件的文件头

trailePre=`echo "${extractInfo}" | awk '{if($1$2=="ExtractTrail:") print $3}' | sed 's#\./dirdat#'"${ExtractTrailDir}"'#g'`

#获取当前指定投递进程正在读取的trail文件的序列号

traileSeq=`echo "${extractInfo}" | awk '{if($1=="Sequence") print $3}'`

#判断是否为第一次，如果为第一次表示数组内没有存放任何extract进程信息。需要给数组内赋值

if [ ${arrayExtractNum} -eq 0 ];then

arrayExtract[${arrayExtractNum}]=$i" "${trailePre}" "${traileSeq}

arrayExtractNum=$[${arrayExtractNum}+1]

else

#循环数组，判断数组内的extract进程读取的trail文件是否和当前的extract进程读取的文件一致。如果一致，比对2个进程读取人间的seq号。如果当前进程读取的seq号比数组内进程读取的seq号小，则把数组内的比对的进程信息替换为当前进程信息。

for ((n=0;n

do

#判断数组内进程读取的checkpoint文件前置名称是否和当前的进程读取的文件前置名称一样

if [ "${trailePre}" == `echo ${arrayExtract[${n}]} | awk '{print $2}'` ];then

#如果2个进程的前置名称一样，则比对checkpoint文件的seq号，把相对seq号小的进程保留在数组内

if [ ${traileSeq} -le `echo ${arrayExtract[${n}]} | awk '{print $3}'` ];then

arrayExtract[${n}]=$i" "${trailePre}" "${traileSeq}  #根据数组下标，替换seq小的进程信息

isupdate=1                #修改变量，表示在数组内替换过内容

#arrayReplicatNum=$[${arrayReplicatNum}-1]

break

fi

fi

done

if [ ${isupdate} -eq 0 ];then  #如果数组内没有替换过内容，则把当前进程信息添加到数组内，否则修改变量值为0，表示没有替换过数组内容。

arrayExtract[${arrayExtractNum}]=$i" "${trailePre}" "${traileSeq}

arrayExtractNum=$[${arrayExtractNum}+1]

else

isupdate=0

fi

fi

#arrayExtractNum=$[${arrayExtractNum}+1]

done

for ((i=0;i

do

echo "####################### Extract: `echo "${arrayExtract[${i}]}" | awk '{print $1}'` ########################" >> ${rmlog}

#获取当前进程的trail文件前置名称

trailePre=`echo "${arrayExtract[${i}]}" | awk '{print $2}'`

for j in $(ls `echo "${arrayExtract[${i}]}" | awk '{print $2"*"}'`)   #根据trail文件的前置名称ls

do

#获取文件的序列号，如果为0号文件，可能没有文件号需要重新复制文件序列号。

existsfilenum=`echo $j | sed -e 's#'"${trailePre}"'##g'`

#循环去掉文件前缀后的数字，可能会006302,所以要把前面的00去掉。判断第一个非零的数字的位置

for((pos=0;pos

do

if [ ${existsfilenum:$pos:1} -ne 0 ];then

break

fi

done

varlen=$[ ${#existsfilenum} - ${pos} ]       #获取非零数字到字符串结尾的长度

existsfilenum=`echo ${existsfilenum:$pos:${varlen}}`    #截取字符串，获取真正的文件的seq号

if [ -z ${existsfilenum} ];then

existsfilenum=0

fi

#判断当前文件是否小于指定seq号，如果小于则删除文件

extractProcNum=`echo "${arrayExtract[${i}]}" | awk '{print $3}'`

if [ $[ ${extractProcNum} - ${keepfiles} ] -gt ${existsfilenum} ];then

echo $j >> ${rmlog}

#echo "rm -f ${j}" | bash

fi

done

#echo ${arrayExtract[${i}]}

done

#循环判断指定投递进程对应的抽取进程的抽取trail文件

}

##################################################################

#获取所有replicat进程信息

##################################################################

getOGGReplicatInfo(){

${ComGgsci}<

info replicat *

RAY

}

##################################################################

#函数：删除复制进程指定保留数量前的trail文件

##################################################################

deleteReplicatfile(){

arrayReplicat=()

arrayReplicatNum=0

isupdate=0

echo "################################# delete Replicat tail #################################" >> ${rmlog}

#获取复制进程的名称和正在读取的checkpoint文件名称，以逗号分隔

for i in `getOGGReplicatInfo | egrep -v "GGSCI|^$" | sed -n '/REPLICAT/,$p' | awk -v rname="" '{if($1=="REPLICAT") {rname=$2;mynum=1}else if(($1$2$3=="LogReadCheckpoint")){print rname","$5}}'`

do

#获取当前复制进程的trail文件的前置名称

replicatFilePre=`echo $i | awk -F ',' '{print $2}' | awk -F '/' -v prefile="" '{for(i=1;i<=NF;i++) {if(i==1){continue} else if(i==NF) {prefile=prefile"/"substr($i,1,2)} else {prefile=prefile"/"$i}}}END{print prefile}' | sed 's#\./dirdat#'"${ExtractTrailDir}"'#g'`

#获取当前进程正在读取的trail文件的seq号

#replicatSeq=`echo $i | awk -F ',' '{print $2}' | awk -F ''"${replicatFilePre}"'' '{print $NF}' | sed 's#0##g'`

replicatSeq=`echo $i | awk -F ',' '{print $2}' | awk -F ''"${replicatFilePre}"'' -v mynum=0 '{for(i=0;i

#获取当前存在的源端投递过来的trail文件

#判断是否为第一次，如果为第一次表示数组内没有存放任何replicat进程信息。需要给数组内赋值

if [ ${arrayReplicatNum} -eq 0 ];then

arrayReplicat[${arrayReplicatNum}]=`echo $i | awk -F ',' '{print $1}'`" "${replicatFilePre}" "${replicatSeq}

arrayReplicatNum=$[${arrayReplicatNum}+1]

else

#循环数组，判断数组内的replicat进程读取的trail文件是否和当前的replicat进程读取的文件一致。如果一致，比对2个进程读取人间的seq号。如果当前进程读取的seq号比数组内进程读取的seq号小，则把数组内的比对的进程信息替换为当前进程信息。

for ((n=0;n

do

#判断数组内进程读取的checkpoint文件前置名称是否和当前的进程读取的文件前置名称一样

if [ "${replicatFilePre}" == `echo ${arrayReplicat[${n}]} | awk '{print $2}'` ];then

#如果2个进程的前置名称一样，则比对checkpoint文件的seq号，把相对seq号小的进程保留在数组内

if [ ${replicatSeq} -le `echo ${arrayReplicat[${n}]} | awk '{print $3}'` ];then

arrayReplicat[${n}]=`echo $i | awk -F ',' '{print $1}'`" "${replicatFilePre}" "${replicatSeq}

isupdate=1                      #修改变量，表示在数组内替换过内容

break

fi

fi

done

if [ ${isupdate} -eq 0 ];then

arrayReplicat[${arrayReplicatNum}]=`echo $i | awk -F ',' '{print $1}'`" "${replicatFilePre}" "${replicatSeq}

arrayReplicatNum=$[${arrayReplicatNum}+1]

else

isupdate=0

fi

fi

#arrayReplicatNum=$[${arrayReplicatNum}+1]

done

for ((i=0;i

do

echo "####################### Replicat: $(echo ${arrayReplicat[${i}]} | awk '{print $1}') ########################" >> ${rmlog}

replicatFilePre=`echo "${arrayReplicat[${i}]}" | awk '{print $2}'`

for j in $(ls `echo "${arrayReplicat[${i}]}" | awk '{print $2"*"}'`)

do

#获取文件的seq号

existsfilenum=`echo $j | sed -e 's#'"${replicatFilePre}"'##g'`

#循环去掉文件前缀后的数字，可能会006302,所以要把前面的00去掉。判断第一个非零的数字的位置

for((pos=0;pos

do

if [ ${existsfilenum:$pos:1} -ne 0 ];then

break

fi

done

varlen=$[ ${#existsfilenum} - ${pos} ]       #获取非零数字到字符串结尾的长度

existsfilenum=`echo ${existsfilenum:$pos:${varlen}}`    #截取字符串，获取真正的文件的seq号

#如果文件的seq为0，重新复制seq为0

if [ -z ${existsfilenum} ];then

existsfilenum=0

fi

#判断当前的trail文件是否小于保留时间的条件

replicatProcNum=`echo "${arrayReplicat[${i}]}" | awk '{print $3}'`

if [ $[ ${replicatProcNum} - ${keepfiles} ] -gt ${existsfilenum} ];then

echo $j >> ${rmlog}

#echo "rm -f ${j}" | bash

fi

done

done

}

help_fun(){

echo "Discription:"

echo "This is a script to delete oracle goldengate trail files."

echo "Parameters:"

echo "-pspecify a value for deleting action."

echo "avalable value: extract/replicat/all"

echo "-hto get help."

}

##################################################################

#脚本的执行入口，获取参数

##################################################################

if [ $# -eq 0 ];then

echo "You must specify a right parameter."

echo "You can use -h or -H to get help."

exit 99

fi

while (($#>=1))

do

case `echo $1 | sed s/-//g | tr [a-z] [A-Z]` in

H)

help_fun          #执行帮助函数

exit 0

;;

P)

shift

rmAction=$1       #获取-p参数的值

shift

continue

;;

*)

echo "You must specify a right parameter."

echo "You can use -h or -H to get help."

exit 98

;;

esac

done

##################################################################

#记录日志

##################################################################

if [ ! -f ${rmlog} ];then

touch ${rmlog}

fi

echo ""

echo "#################################`date +"%Y-%m-%d %H:%M:%S"`#################################" >> ${rmlog}

##################################################################

#判断-p参数的值，执行删除函数

##################################################################

case `echo ${rmAction} | tr [a-z] [A-Z]` in

EXTRACT)

deleteExtractfile

exit 0

;;

REPLICAT)

deleteReplicatfile

exit 0

;;

ALL)

deleteExtractfile

deleteReplicatfile

exit 0

;;

*)

echo "You must specify a valid value for -p."

echo "You can use -h or -H to get help."

exit 97

;;

esac

葱油饼味棉花糖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ogg 查看某条更新_ogg range多个进程读一个TRAIL文件，缓解数据同步延时
weixin_33612966的博客
12-24 761
ogg 当同步某张表的源端有大量并发操作时，如INSERT UPDATE千万级数据记录操作。同步链路的入库进程不能及时的处理，将产生数据同步延时。此时可以使用OGG的range参数据将单个进程拆分为多个进程，同时读取trail文件，并行操作，提高入库进程数据同步效率。防止数据延时对生产的影响。具体操作步骤如下：1. 创建配置文件 vi ggs/dirprmRQFTJ001.prmRQFTJ002....
oracle ogg 删除,OGG 手动删除trail文件
weixin_42110070的博客
04-08 1245
1. OGG手动删除trail文件https://www.cndba.cn/leo1990/article/2866https://www.cndba.cn/leo1990/article/2866https://www.cndba.cn/leo1990/article/2866https://www.cndba.cn/leo1990/article/2866https://www.cndba.c...
如何清理ogg日志文件
beiduofen2011的专栏
11-09 2606
进入目标端ogg文件目录，/usr/local/ogg/dirdat，删除hr000009674之前的文件，不要都全部删掉，最好保留5-6个最新文件。ogg分为源端和目标端，由于目标端和kafka部署在一机器上，ogg日志文件使这台机器磁盘频繁的被占满， 导致kafka 进程被杀死。之前配置的是3天就把已经完成推送的日志给删除，现在改成1小时就把已经完成推送的日志给删除。接下来的话 ./dirdat/* 日志文件就不会频繁的把磁盘占满了。其中一个文件500M。可以看到消费到哪个文件。
为啥ogg格式删除不了，或者删除时间长
最新发布
empe_lee的博客
03-21 1007
ogg格式删除过慢
OGG删除过期的trail文件，shell实现
cpc84938的博客
07-08 777
脚本主要实现对OGG进程过期trail文件的删除处理。 脚本只实现对已经读取的文件进行删除，如果stop或ABENDED的话也不会出问题，因为只删除已读取的文件，未读取不做操作。 ...
ogg不能自动删除trail文件解决一例
bigger王的博客
06-22 2310
问题描述： 巡检的时候发现ogg挂的gg目录使用率85%了，经排查发现是ogg不能自动删除trail文件导致目录使用率告警。 [oracle@host01 ~]$ df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/ggvg-lv_gg 468G 375G 70G 85% /gg /dev/sda1 194M 33M 152M 18% /boot gg目录...
extract进程 oracle,OGG-extract进程对应的多余trail文件的删除
weixin_39897505的博客
04-04 590
goldengate的官方文档中说，每个进程对应一个(组)trail文件，每个trail文件只对应一个进程。但实际使用时，由于误操作而给extract进程e_tmp添加了两个trail文件(组)，下面实验是删除方法，即停掉extract进程后执行delete exttrail ./dirdat/xx1)切换到GG_HOME目录，查看进程[oracle@rhlinux ogg]$ pwd/u02/o...
Oracle 19c 19.1.0.4+ogg搭建完美手册
08-13
Oracle 19c 19.1.0.4+ogg搭建完美手册
Oracle OGG安装部署细说：Windows同步到Linux
02-02
Oracle OGG安装部署细说：Windows同步到Linux
oracle ogg原理详解
01-08
oracle 最新ogg12.3原理文档，更透彻的了解ogg同步原理。
oracle11g和OGG搭建过程
02-08
这可以通过修改 `/etc/selinux/config` 文件并将 `SELINUX` 设置为 `disabled`，然后执行 `setenforce 0` 来实现。 接下来，我们需要安装一系列的软件依赖项，这些是 Oracle 11g 和 OGG 正常运行所必需的。可以使用...
oracle OGG 12.3使用手册
01-08
oracle 最新版本ogg 12.3使用手册 详细全面，包含各种参数的使用语法，原理，用途等。
OGG的mgr进程删除trail文件失效
FC_BarceIona的博客
04-10 1294
环境描述： 系 统：HP-UX 数 据 库：oracle 11gR2 11.2.0.4.0 OGG版本：11.2.1.0.33 故障描述： mgr配置的purgeoldextracts删除策略失效，源端有几个一个失效的trail文件一直未被删除。 故障原因： 源端的抽取进程产生的trail文件和对于的投递进程在目标段产生的trail文件同名 都为./dirda...
2020-11-20 OGG无法自动清理trail文件问题的解决
weixin_37650796的博客
11-20 2966
OGG自动清理trail文件
Oracle 11g OGG mgr定期清理tail 文件
weixin_34150830的博客
04-25 616
OGG mgr定期清理tail 文件 2018-06-11 11:58 440 0 原创 GoldenGate 本文链接：https://www.cndba.cn/leo1990/article/2853 1. OGG mgr定期清理tail 文件 1.1. 源端操作 1.1.1. 停止mgr进程 GGSCI (cndba) 14> stop mgr Manager pr...
OGG跳过事务 logdump FORCETRANS begin now
jnrjian的博客
03-30 4156
本文主要讲述： extract 时跳过事务 replicate时跳过事务 知识重点：OGG中保存的也是before image和after image，这也是block中行的修改，和RBA UBA中一样的 【ogg】GoldenGate介绍_回到未来望过去的博客-CSDN博客 如何保证ogg抽取进程不丢归档 - 墨天轮 配置归档不被删 ----extract 时跳过事务 长事务的影响 OGG是基于事务级的实时复制工具，也就是说OGG只复制已提交的事务...
ogg_迁移同步实验_零停机
jnrjian的博客
03-16 726
oracle golden gate我最近正在琢磨，这个软件我觉得约等于dataguard的逻辑模式，我认为其最大的优势是更可控制，比如可以细化到某个schema、某个table的同步。 如下实验的主要步骤： ogg根据scn同步数据，源库零停机时间 1.配置好ogg源端的mgr、抓取和传送进程，并启动。 2.配置好ogg目标端的mgr、复制进程，仅启动mgr。 3.源端可自由进行交易，此时观察源与目标的trail文件是否都正常。 4.查询源端此时的scn，并按照参数flashbask_...
Oracle 归档相关知识
喝醉酒的小白
07-31 3447
归档量查询 select trunc(completion_time) as "Data", (sum(blocks*block_size))/1024/1024 as "MB" from v$archived_log group by trunc(completion_time) order by 1; select thread#,sequence#,deleted from v$archived_log order by 2; 归档路径更换 archive log list; alter
2.--Goldgate常用参数说明
congzhandeping6436的博客
11-20 434
OGG常见参数说明 1.配置管理进程mgr： ggsci(test01) 1> view param mgr port 7809 dynamicportli...
oracle ogg在线配置,Oracle OGG配置
06-09
Oracle GoldenGate是Oracle公司提供的一款高性能、可靠的实时数据复制和数据同步软件，可以实现不同数据库之间的数据同步、数据复制和数据集成等功能。下面是Oracle GoldenGate在线配置步骤： 1. 创建OGG用户和OGG...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值