Failed a keylookup for record
DataStage作为一款极易上手的ETL工具,在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观,且日志提示信息也已比较明了,但实际开发过程中仍然会遇到这样那样的问题。
为了提醒大家,特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验,总结了一些DataStage开发时需要注意的细节,仅供参考。下面有几点需要说明一下:
第一:由于平时空闲的时间比较少,而且也不可能一次将所有注意点列出,所以本文章在后续会不断更新。
第二:因为只有工作时,才有DataStage8.5的开发测试环境,而在我自己的笔记本上安装的是DataStage7.5版本,所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境,非常欢迎能够共享出来,大家共同学习。
第三:由于本人水平有限,文章中若出现纰漏的地方,还请帮忙指正,不胜感激!
环境:DataStage7.5
错误日志:Lookup_1,0: Failed a keylookup for record.(如图1)
(图1)
原因主要是因为Lookup的左表与右表没有关联上,而Lookup Stage默认设置(如图2红色框部分)的是当左表与右表没有关联上时,JOB直接ABORT导致的。
(图2)
解决方法:修改Lookup Stage的默认设置,将Lookup Failure按需要设置成其他值(如最经常用的是Continue)即可(如图3红色框部分)。
DS中比较运算符对NULL值的处理
DataStage作为一款极易上手的ETL工具,在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观,且日志提示信息也已比较明了,但实际开发过程中仍然会遇到这样那样的问题。为了提醒大家,特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验,总结了一些DataStage开发时需要注意的细节,仅供参考。下面有几点需要说明一下:
第一:由于平时空闲的时间比较少,而且也不可能一次将所有注意点列出,所以本文章在后续会不断更新。
第二:因为只有工作时,才有DataStage8.5的开发测试环境,而在我自己的笔记本上安装的是DataStage7.5版本,所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境,非常欢迎能够共享出来,大家共同学习。
第三:由于本人水平有限,文章中若出现纰漏的地方,还请帮忙指正,不胜感激!
环境:DataStage7.5
错误描述:源表test.tab2(A,B)有两条数据(1,NULL),(1,2)。经过一个Transformer Stage的处理,根据字段A、B生成字段C。生成逻辑如下:
IF ( A = 1 OR B = 2 ) THEN 'TRUE' ELSE 'FALSE'
经过Transformer Stage的处理后,预期结果为两条,分别是(1,NULL,TRUE),(1,2,TRUE)。但JOB实际运行结果却只有一条(1,2,TRUE)。
JOB结构如下图:
解决方法:修改Transformer Stage中的条件判断,先对B字段做空值处理后,输出结果与预期一致。
IF ( A = 1 OR NullToZero(B) = 2 ) THEN 'TRUE' ELSE 'FALSE'
另外在DS8.5中,对上述情况,会返回(1,NULL,FALSE),(1,2,TRUE),而不是像DS7.5那样把字段B为NULL值的那条记录DROP掉。
使用Lookup Stage KEY值左关联不上时对右表字段的处理
DataStage作为一款极易上手的ETL工具,在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观,且日志提示信息也已比较明了,但实际开发过程中仍然会遇到这样那样的问题。为了提醒大家,特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验,总结了一些DataStage开发时需要注意的细节,仅供参考。下面有几点需要说明一下:
第一:由于平时空闲的时间比较少,而且也不可能一次将所有注意点列出,所以本文章在后续会不断更新。
第二:因为只有工作时,才有DataStage8.5的开发测试环境,而在我自己的笔记本上安装的是DataStage7.5版本,所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境,非常欢迎能够共享出来,大家共同学习。
第三:由于本人水平有限,文章中若出现纰漏的地方,还请帮忙指正,不胜感激!
DataStage环境:DataStage7.5
数据库环境:Oracle 10G- select
- A.A,
- A.c,
- B.B
- from tab3 A,tab2 B
- where A.A = B.A(+)
开发如下JOB进行测试,使用PEEK查看关联结果:
2、 设置tab2表B字段的Nullable属性为No,如下图红框所示:
结论:使用Lookup Stage(Join Stage其实也是一样的)做左关联,当左表的KEY值不在右表中时,关联结果中从右表获取的那个字段的值并不一定为NULL。当从右表获取的那个字段的类型为数字类型且在Stage的表结构中Nullable属性被设置为YES时,关联结果和在数据库中执行SQL是一致的;但当Stage的表结构中Nullable属性被设置为NO时,关联结果中的该字段会被默认置为0(若从右表取出的那个字段的类型为字符类型时,该字段会被默认置为空字符串)。