- 博客(4)
- 资源 (18)
- 收藏
- 关注
转载 使用ODI进行数据整合过程中的数据源、目标与临时区域(staging area)的分布情况与执行方式
<br />数据源、目标、临时区域在相同的服务器<br /><br />IKM为上图中的join 、filter、转换生成合适的sql产生结果数据流。效率最高,数据不用在不同的服务器之间传送。<br /> <br /> <br />目标和临时区域在同一个服务器<br /><br />A、B在同一个数据源上,LKM生成sql在IBM DB2上,生成一个数据集,并把这个数据集放到目标数据服务器的C$0表;(源与目标在同一个服务器时不需要LKM 也不需要临时表C$);然后在目标服务器上的IKM把临时表和D表生成数
2010-10-22 10:28:00 4095
转载 ODI通过logminer技术从oracle 数据库中抽取增量数据1
最近做的几个项目,都碰到了ODI从oracle9i或者10g数据库中抽取增量数据的情况,那么ODI如何从数据库中抽取增量数据呢,ODI针对Oracle数据库的抽取,提供了3类知识模块:Oracle SimpleOracle ConsistentOracle 9i/10g/11gConsistent (LOGMINER)Simple方式一般是针对数据库中需要增量复制的表之间没有主外键约束的情况,在这种方式下,表之间的先后复制关系没有影响。但如果表之间有主外键对照关系,采用sim
2010-10-19 22:58:00 2046
转载 ODI 集成SKM 配置Web服务
<br />ODI 即可以批量处理数据,也可以通过SKM知识模块发布成Web服务方式,结合到SOA架构中,这样就可以通过SOA架构实时地查看数据和修改数据。<br /><br />(针对DBA)在发布服务之前,先简单了解一下Web服务的基本流程<br /><br /><br /><br /><br /><br />一个Web Service交互的参与者都称作一个SOAP的节点。SOAP消息在SOAP发送者和接收者之间传递。SOAP消息的传递是基于构建Web Service交互的单元之上。Web Servic
2010-10-19 20:50:00 733
转载 ODI中删除数据的处理
<br />一、前提知识:<br />数据从源数据库向数据仓库抽取时,一般采用以下几种方式:全抽取模式<br />如果表的数据量较小,则可以采取全表抽取方式,以TRUNCATE/INSERT方式进行数据抽取。 基于时间戳的抽取模式<br />如果源数据表是不可更新的数据(如大多数事务处理数据)或者是不可删除数据(只能失效历史记录的情况),则根据变更时间戳,抽取最新变更的数据进行同步。 日志分析<br />如果没有更新时间戳,或者源数据存在删除的情况,则可以进行日志分析,来执行最新数据变更的同步。 <br /
2010-10-13 13:53:00 2007
用scoket发送基于tcp协议的自定义数据包(实现了多线程,支持多个客户端同时访问)
2010-08-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人