![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
datastage
pianzif
这个作者很懒,什么都没留下…
展开
-
IBM 官方datastage文档链接
文章来自IBM官网。只转链接:用IBM WebSphere DataStage进行数据整合 第 1 部分https://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/传统的数据整合方式需要大量的手工编码,而采用 IBM WebSphere DataStage 进原创 2014-03-03 17:52:23 · 5299 阅读 · 0 评论 -
datastage环境配置
有些事后ds报错,或者调用ds命令的时候报错,试试yuanxu原创 2014-05-30 13:27:44 · 4960 阅读 · 0 评论 -
根据年龄 求年龄分段ID
人员表 A(age,name) 年龄分段表 B(max,min,ageid) A表关联B表,获取对应的年龄分段ID。 之前查了很多资料不知道怎么做,会了以后觉得好简单。现记录备忘。转载 2014-06-01 22:02:54 · 1004 阅读 · 0 评论 -
跑数速度慢,修改参数
在DB组件中,适当增大【Transaction\Record count】【Session\Array size】值。转载 2014-06-01 16:03:40 · 884 阅读 · 0 评论 -
DataStage通过分析日志获取Job插入目标表的记录数
这只是一种不太好的方法,也许还有更好、更简便的方法。这种方法要求每次运行Job之前删除已有的日志信息,否则无法统计出正确的记录数。当然,在Job跑完之后,可以在shell备份本次Job运行的日志到服务器磁盘。转载 2014-06-01 22:14:39 · 2320 阅读 · 0 评论 -
The syntax of the string representation of a datetime value is incorrect. SQLSTATE=22007
时间的转化在datastage中总是遇到这样的一种错误DB2_Connector_20,0: SQLExecute reported: SQLSTATE = 22007: Native Error Code = -180: Msg = [IBM][CLI Driver][DB2/AIX64] SQL0180N The syntax of the string representation原创 2014-07-25 14:26:14 · 20892 阅读 · 0 评论 -
目标表已有对应数据则不插入
很多时候会遇到一种需求:目标表:t(a,b,c,d,e) 需求:往目标表中插入数据时,如果数据源与目标表中某条记录的部分列(eg:a,b,c)相同,则不插入。 解决思路:数据源src与目标表des使用Lookup关联,src作为流,des为引流。查找失败选项选择拒绝。我们需要的数据流则为拒流上的数据,另外将匹配上的数据流随便保存到一个文件。 Tips:如果需要匹配的字段如char,则需转载 2014-06-01 15:58:53 · 639 阅读 · 0 评论 -
ds job调度脚本
在自己工作中需要调度job,在自带的directo原创 2014-06-01 15:49:17 · 2899 阅读 · 0 评论 -
为什么用datastage而不直接用sql
我在用datastage的时候发现有些stage例如join stage,aggregate stage,sort stage等,不就实现了order by ,sum ,连接等sql功能吗,那么我干嘛不在数据源的时候就做好这些事情呢,何必用这些stage呢?例如我搞个odbc stage,自定义 sql select count(1),a from A group by a不就可以了吗转载 2014-07-31 12:38:40 · 2640 阅读 · 0 评论 -
When reading database column DATETIME(fraction=6) into column DATETIME(fraction=0)
在进行datastage开发过程中发现如下错误原创 2014-07-14 10:47:50 · 5070 阅读 · 1 评论 -
dsjob jobstatus 简述
QuestionWhat are the DataStage job status log values seen during execution, running, completion or failure of job?AnswerThey show what values can be used when designing job sequencers when d转载 2014-06-28 13:22:12 · 2043 阅读 · 0 评论 -
DataStage 分区(Partition)
转自http://hi.baidu.com/developers/item/a76278ea706c1de3fa42ba82随机分区和Same分区和完全分区随机(Random)分区是DataStage的分区方法之一。随机分区是这样操作的:DataStage将输入数据随机地分配到所有节点上。与循环分区类似,随机方法所产生的分区,各个节点上处理的数据也都大致相等。但与循环分区相比,随机分区转载 2014-06-01 16:58:44 · 1389 阅读 · 0 评论 -
datastage中join,lookup,merge的区别
这三个组件网上看了半天也没内转载 2014-04-29 22:43:24 · 7637 阅读 · 1 评论 -
datastage(IBM InfoSphere Information Server )日志的获取和分析
在使用 IBM InfoSphere Information Server 的过程中我们经常会遇到一些问题,但如何来查找和诊断问题,对于一个刚刚使用 IBM InfoSphere Information Server 的用户来说这或许是一个很棘手的事情。但是不必担心,因为 IBM InfoSphere Information Server 产品从安装、运行到卸载都为我们提供了大量的多种形式的日转载 2014-03-31 23:00:49 · 12848 阅读 · 0 评论 -
datastage 重启
DataStage在正常运行时候有以下两个主要的进程:1.dsrpcd(DS的主进程)$ps -ef | grep dsrpcdroot 1602486 1 0 09:42:17 pts/5 0:00 /app/dsadm/Ascential/DataStage/DSEngine/bin/dsrpcd2.JobMonApp(jobmonitor的进程转载 2014-03-31 22:36:43 · 1756 阅读 · 0 评论 -
datastage transformer控件详解
序言在之前的工作中,用到的都是一些很简单的transformer的转换功能,比如直接加一些函数做一些判断然后输出,或者构造一些列!没有用到他的loop功能及stage variable功能,这篇主要是对他们的学习transformer基本功能回顾功能说明:一个功能极为强大的Stage。有一个input link,多个output link,可以将字段进行转换,也可以通过条件来指定数原创 2014-04-22 08:32:24 · 10065 阅读 · 0 评论 -
datastage transformer函数总结
详见官方文档:http://pic.dhe.ibm.com/infocenter/iisinfsv/v8r5/index.jsp?topic=%2Fcom.ibm.swg.im.iis.ds.parjob.dev.doc%2Ftopics%2Fr_deeref_Date_and_Time_Functions.html原创 2014-04-08 13:55:58 · 2223 阅读 · 0 评论 -
datastage运行时错误总结(更新中)
问题一SQL0407N Assignment of a NULL value to a NOT NULL column "TBSPACEID=2, TABLEID=50, COLNO=8" is not allowed. SQLSTATE=23502 解决:上面的错误信息没有直接给出table名,可以通过下面的语句得到table和columnSELECT * FROM SY原创 2014-03-30 00:34:50 · 16761 阅读 · 1 评论 -
datastage dsjob命令
ETL调度中不乏要用shell脚本来运行DATASTAGE中的JOB,现测试一下DSJOB的用法然后总结一下(边测试边总结)dsjob -run [-mode ] PROJECT_NAME JOB_NAME-mode为选择运行模式,NORMAL表示正常运行,此时和不写-mode是一样的;RESET表示重置,当job在中止状态时要先RESET,之后才能再正常运行;VALIDATE转载 2014-05-30 13:23:22 · 11615 阅读 · 0 评论 -
DataStage Job优化指导原则
使用DataStage也有一段时间了,在实际工作中也经常从同事处零星的获取一些优化技巧,网上也能找到一些Job优化的小技巧点。但总觉得没有一篇相对有水平且完整的从方法论的高度阐述Job优化的文章。本文根据本人长期的DataStage开发实际经验,从Job优化的方法论的指导原则的角度,阐述一些自己的愚见。希望能对奋斗在DataStage Job开发一线的朋友们有一定的实际帮助。另外由于实际能力所限,转载 2014-06-01 17:04:14 · 1511 阅读 · 0 评论 -
datastage sequential file 控件的使用
sequential file stage的输入原创 2014-07-15 10:39:04 · 2960 阅读 · 0 评论