datastage导入表结构oracle,DataStage 配置CDC 实现数据实时处理

版本：IBM InfoSphere DataStage V11.3.1

操作系统：linux redhat 6.4

数据库：Oracle 11.2.0.4.0

前言：之前和IBM同事参与CDC和Datastage结合，打造数据实时性。虽然最后可以满足数据时效性，但是代价也是相对的，24小时不停的监控，这样也是耗性能的。

也不由得感慨，想象是完美的，现实却是未必。这个笔记由同事记录，分享下。

1.4.1具体步骤

1.首先需要安装CDC_for_Datastage，创建相应的实例并启动实例为运行状态。

2.创建数据存储器并分配用户，搭建预定。

3.用CDC导出相应的dsx文件，详细步骤如下。

1).右键搭建好的预定

>>【Infospheredatastage】>>【Infosphere datastage属性】，如下图，红框中【项目】填datastage的工程名，连接建自己定义一个名字。然后确定

2). 右键搭建好的预定>>【Infospheredatastage】>>【生成Infosphere datastage作业定义…】,

选择保存路径，以便导入datastage。

3.导入作业

把MID1_TEST.dsx文件导入Datastage中。如下图所示

4.去掉DB2_Connector控件

换成oracle控件，如果目标端数据是DB2可以不用换。BooKmark是记录数据读取的一个标签，该记录会被写入到目标表BooKmark_table表中，该表是在安装CDC_FOR_datastage创建实例时创建的表。把改job拆分如下：

5.双击CDC_Transaction控件，按下图配置数据库连接信息

6.双击Oracle_Connector_10控件，按下图填写配置信息

7.双击Copy_11控件 按下图填写信息。

8．双击Oracle_Connector_33控件，按下图填写信息