无法访问_ODS集中遇到业务系统无法访问怎么办?我们有解

在ETL过程中,全量同步可能导致目标表数据被清空。为避免此风险,建议采用四步法:首先检查数据库连接,然后执行业务系统JOB,只有在数据源状态正常时才继续同步数据。通过这种方式确保在数据源不可用时,不对目标库进行增删操作,同时通过日志监控执行情况。
摘要由CSDN通过智能技术生成

大家都知道,ETL工具中,不管是ODI还是KETTLE,全量同步时,逻辑是先删除表数据,再连接数据源,再同步数据。这种情况下就有可能发生一件可怕的事情,数据源因为某种原因无法访问了,这就造成目标表清空了,如何解决?

在实践过程中建议采取四步法:

①新建大JOB,在JOB中添加“检查数据库连接”插件。

②在该插件后添加对应业务系统JOB作业。

③执行该大JOB时,首先检测数据源状态,若数据源状态异常,日志提示“不能连接到数据库”,即无法执行对应业务系统JOB作业(不对目标库数据做增删处理) 如下图1.1,若数据源状态正常,即继续执行对应业务系统JOB作业。

④建立对应大JOB调度,可通过执行日志进行查看执行情况,如下图1.2

b95a95a28fa36ce40b456d51c3e656e0.png

图1.1

31b1d840726db57505394967b0dd34fd.png

图1.2

在这里也特别强调一下:新增大JOB时,尽量一对一新增(一个大JOB对应一个业务系统),在新增“检查数据库连接”插件中,只选择单业务系统数据。如下图1.3

2862a3e396682d4b895ea812e5e61a94.png

图1.3

关注希嘉工程师,聊聊数据治理那些事!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为了生活中,工作中记住要记录的东西,以便查询(包括:工作相关信息,生活常识,笑话等),而做的一个小软件以下称notes。 因为我是做Winform程序的,所以notes的初期是用winForm做的;后来学习了wpf,又把软件界面移植到wpf上。 采了XML数据存取,使用了Linq进行查询; 功能主要分为五大块:第一 记录;第二 查询(根据标题查询,根据类型查询,综合查询 );第三 对记录内容的相关操作(如:存储文件的合并、发送邮件、根据类型分割删除保存、删除、修改、提取存储文件中所有类型、背景色的设置、字体的设置等);第四 附加功能(1、映射功能列表;2、文件的查询;3、在指定目录中进行删除操作) 第五 反馈意见 对第四中附加功能介绍: 1、映射功能列表:把平时用到的所有文件映射到一个界面中;可以做备注说明;(背景:平时会用到很多软件,其中包括网上载的。但是时间过的久了,则忘记是否下载过,或下载后保存的位置,又或者忘记下载后软的功能等等) 2、文件夹中快速查找文件或文件夹,支持模糊查询;查到的文件或文件夹可以即时打开; 3、删除文件或文件夹,此功能快速的删除指定的文件或文件夹,只支持完全匹配。 对第五的说明:之所以把意见反馈单独拿出是因为:如果那位兄弟姐妹能在使用过程中提出5条有用的建议(包括软件Bug,使用的习惯等,我将会根据您的要求送任意一个模块的源码,如果能提出建设性意见的可以随意指软件中的一块功能,我送上源码,并且可以做讲解说明) 1、【Linq to XML模块】 2、【加密解密模块】 3、【工具模块(发送邮件,MD5解密,自动生成验证码等)】 4、【WPF数据验证模块】 5、【WPF进度条模块】 下载即可使用。 本人希望大家都可以把生活中,工作中值的记录的东西全部记录下来。 界面移值到wpf时,所用到功能有: 1、数据验证 2、数据绑定 3、背景设置 4、资源的调用 5、触发器的使用 6、命令的使用 8、打开文件或文件夹,保存文件 9、界面托盘 10、Grid,TextBox,ListBox,ListView,Lable等基本控件的使用 11、窗口(隐藏,最小化,最大化,重写关闭,置顶) 12、进度条的使用 13、异步的使用 14、多线程的使用 15、右键菜单的使用 16、字体的设置 17、界面的刷新 18、跨线程调用方法 19、简单的动画 20、界面的布局
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值