版本:IBM InfoSphere DataStage V11.3.1
操作系统:linux redhat 6.4
数据库:Oracle 11.2.0.4.0
前言:之前和IBM同事参与CDC和Datastage结合,打造数据实时性。虽然最后可以满足数据时效性,但是代价也是相对的,24小时不停的监控,这样也是耗性能的。
也不由得感慨,想象是完美的,现实却是未必。这个笔记由同事记录,分享下。
1.4.1具体步骤
1.首先需要安装CDC_for_Datastage,创建相应的实例并启动实例为运行状态。
2.创建数据存储器并分配用户,搭建预定。
3.用CDC导出相应的dsx文件,详细步骤如下。
1).右键搭建好的预定
>>【Infospheredatastage】>>【Infosphere datastage属性】,如下图,红框中【项目】填datastage的工程名,连接建自己定义一个名字。然后确定
2). 右键搭建好的预定>>【Infospheredatastage】>>【生成Infosphere datastage作业定义…】,
选择保存路径,以便导入datastage。
3.导入作业
把MID1_TEST.dsx文件导入Datastage中。如下图所示
4.去掉DB2_Connector控件
换成oracle控件,如果目标端数据是DB2可以不用换。BooKmark是记录数据读取的一个标签,该记录会被写入到目标表BooKmark_table表中,该表是在安装CDC_FOR_datastage创建实例时创建的表。把改job拆分如下:
5.双击CDC_Transaction控件,按下图配置数据库连接信息
6.双击Oracle_Connector_10控件,按下图填写配置信息
7.双击Copy_11控件 按下图填写信息。
8.双击Oracle_Connector_33控件,按下图填写信息