DataStage开发常见问题

Failed a keylookup for record

DataStage作为一款极易上手的ETL工具，在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观，且日志提示信息也已比较明了，但实际开发过程中仍然会遇到这样那样的问题。
        为了提醒大家，特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验，总结了一些DataStage开发时需要注意的细节，仅供参考。下面有几点需要说明一下：
        第一：由于平时空闲的时间比较少，而且也不可能一次将所有注意点列出，所以本文章在后续会不断更新。
        第二：因为只有工作时，才有DataStage8.5的开发测试环境，而在我自己的笔记本上安装的是DataStage7.5版本，所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境，非常欢迎能够共享出来，大家共同学习。
        第三：由于本人水平有限，文章中若出现纰漏的地方，还请帮忙指正，不胜感激！
        
        环境：DataStage7.5

        错误日志：Lookup_1,0: Failed a keylookup for record.（如图1）

（图1）

        问题原因：这是初次时候Lookup Stage时经常遇到的错误，也是平时经常因为疏忽而犯的错误。

        原因主要是因为Lookup的左表与右表没有关联上，而Lookup Stage默认设置（如图2红色框部分）的是当左表与右表没有关联上时，JOB直接ABORT导致的。

（图2）

        解决方法：修改Lookup Stage的默认设置，将Lookup Failure按需要设置成其他值（如最经常用的是Continue）即可（如图3红色框部分）。

DS中比较运算符对NULL值的处理

DataStage作为一款极易上手的ETL工具，在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观，且日志提示信息也已比较明了，但实际开发过程中仍然会遇到这样那样的问题。
        为了提醒大家，特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验，总结了一些DataStage开发时需要注意的细节，仅供参考。下面有几点需要说明一下：
        第一：由于平时空闲的时间比较少，而且也不可能一次将所有注意点列出，所以本文章在后续会不断更新。
        第二：因为只有工作时，才有DataStage8.5的开发测试环境，而在我自己的笔记本上安装的是DataStage7.5版本，所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境，非常欢迎能够共享出来，大家共同学习。
        第三：由于本人水平有限，文章中若出现纰漏的地方，还请帮忙指正，不胜感激！
        
        环境：DataStage7.5
        错误描述：源表test.tab2(A,B)有两条数据(1,NULL),(1,2)。经过一个Transformer Stage的处理，根据字段A、B生成字段C。生成逻辑如下：
        IF ( A = 1 OR B = 2 ) THEN 'TRUE' ELSE 'FALSE'
        经过Transformer Stage的处理后，预期结果为两条，分别是(1,NULL,TRUE),(1,2,TRUE)。但JOB实际运行结果却只有一条(1,2,TRUE)。
        JOB结构如下图：

        

        原因分析：根据结果判断，第一条记录(1,NULL)被Transformer Stage过滤掉可能是因为B的值为NULL造成的。
        解决方法：修改Transformer Stage中的条件判断，先对B字段做空值处理后，输出结果与预期一致。
        IF ( A = 1 OR NullToZero(B) = 2 ) THEN 'TRUE' ELSE 'FALSE'

        

        结论：DS中，作比较运算符左右两边的表达式不可为空，如果为空，必须先做空值处理再比较，否则实际结果可能与预期结果不一致。
        另外在DS8.5中，对上述情况，会返回(1,NULL,FALSE),(1,2,TRUE)，而不是像DS7.5那样把字段B为NULL值的那条记录DROP掉。

使用Lookup Stage KEY值左关联不上时对右表字段的处理

  DataStage作为一款极易上手的ETL工具，在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观，且日志提示信息也已比较明了，但实际开发过程中仍然会遇到这样那样的问题。
        为了提醒大家，特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验，总结了一些DataStage开发时需要注意的细节，仅供参考。下面有几点需要说明一下：
        第一：由于平时空闲的时间比较少，而且也不可能一次将所有注意点列出，所以本文章在后续会不断更新。
        第二：因为只有工作时，才有DataStage8.5的开发测试环境，而在我自己的笔记本上安装的是DataStage7.5版本，所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境，非常欢迎能够共享出来，大家共同学习。
        第三：由于本人水平有限，文章中若出现纰漏的地方，还请帮忙指正，不胜感激！

DataStage环境：DataStage7.5

数据库环境：Oracle 10G

[sql] view plain copy

1. select  
2.     A.A,  
3.     A.c,  
4.     B.B  
5. from tab3 A,tab2 B  
6. where A.A = B.A(+)  

在数据库中执行上面的SQL完成左关联，当tab3表的值在tab2表中不存在时，结果中对应的那一条记录tab2.B的值应该为NULL。如下图所示：

但在DataStage中使用Lookup Stage做左关联时，情况是什么样的呢？
开发如下JOB进行测试，使用PEEK查看关联结果：

1、 设置tab2表B字段的Nullable属性为YES，如下图红框所示：

执行结果如下：

从PEEK显示的结果来看，执行结果中A=3的那条记录的B字段的值为NULL，与在数据库中执行SQL的结果 一致。
2、 设置tab2表B字段的Nullable属性为No，如下图红框所示：

执行结果如下：

从PEEK显示的结果来看，执行结果中A=3的那条记录的B字段的值为0，与在数据库中执行SQL的结果 不一致。
结论：使用Lookup Stage（Join Stage其实也是一样的）做左关联，当左表的KEY值不在右表中时，关联结果中从右表获取的那个字段的值并不一定为NULL。当从右表获取的那个字段的类型为数字类型且在Stage的表结构中Nullable属性被设置为YES时，关联结果和在数据库中执行SQL是一致的；但当Stage的表结构中Nullable属性被设置为NO时，关联结果中的该字段会被默认置为0（若从右表取出的那个字段的类型为字符类型时，该字段会被默认置为空字符串）。