DataStage作为一款极易上手的ETL工具,在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观,且日志提示信息也已比较明了,但实际开发过程中仍然会遇到这样那样的问题。
为了提醒大家,特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验,总结了一些DataStage开发时需要注意的细节,仅供参考。下面有几点需要说明一下:
第一:由于平时空闲的时间比较少,而且也不可能一次将所有注意点列出,所以本文章在后续会不断更新。
第二:因为只有工作时,才有DataStage8.5的开发测试环境,而在我自己的笔记本上安装的是DataStage7.5版本,所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境,非常欢迎能够共享出来,大家共同学习。
第三:由于本人水平有限,文章中若出现纰漏的地方,还请帮忙指正,不胜感激!
环境:DataStage7.5
错误描述:源表test.tab2(A,B)有两条数据(1,NULL),(1,2)。经过一个Transformer Stage的处理,根据字段A、B生成字段C。生成逻辑如下:
IF ( A = 1 OR B = 2 ) THEN 'TRUE' ELSE 'FALSE'
经过Transformer Stage的处理后,预期结果为两条,分别是(1,NULL,TRUE),(1,2,TRUE)。但JOB实际运行结果却只有一条(1,2,TRUE)。
JOB结构如下图:
原因分析:根据结果判断,第一条记录(1,NULL)被Transformer Stage过滤掉可能是因为B的值为NULL造成的。
解决方法:修改Transformer Stage中的条件判断,先对B字段做空值处理后,输出结果与预期一致。
IF ( A = 1 OR NullToZero(B) = 2 ) THEN 'TRUE' ELSE 'FALSE'
结论:DS中,作比较运算符左右两边的表达式不可为空,如果为空,必须先做空值处理再比较,否则实际结果可能与预期结果不一致。
另外在DS8.5中,对上述情况,会返回(1,NULL,FALSE),(1,2,TRUE),而不是像DS7.5那样把字段B为NULL值的那条记录DROP掉。
为了提醒大家,特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验,总结了一些DataStage开发时需要注意的细节,仅供参考。下面有几点需要说明一下:
第一:由于平时空闲的时间比较少,而且也不可能一次将所有注意点列出,所以本文章在后续会不断更新。
第二:因为只有工作时,才有DataStage8.5的开发测试环境,而在我自己的笔记本上安装的是DataStage7.5版本,所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境,非常欢迎能够共享出来,大家共同学习。
第三:由于本人水平有限,文章中若出现纰漏的地方,还请帮忙指正,不胜感激!
环境:DataStage7.5
错误描述:源表test.tab2(A,B)有两条数据(1,NULL),(1,2)。经过一个Transformer Stage的处理,根据字段A、B生成字段C。生成逻辑如下:
IF ( A = 1 OR B = 2 ) THEN 'TRUE' ELSE 'FALSE'
经过Transformer Stage的处理后,预期结果为两条,分别是(1,NULL,TRUE),(1,2,TRUE)。但JOB实际运行结果却只有一条(1,2,TRUE)。
JOB结构如下图:

解决方法:修改Transformer Stage中的条件判断,先对B字段做空值处理后,输出结果与预期一致。
IF ( A = 1 OR NullToZero(B) = 2 ) THEN 'TRUE' ELSE 'FALSE'

另外在DS8.5中,对上述情况,会返回(1,NULL,FALSE),(1,2,TRUE),而不是像DS7.5那样把字段B为NULL值的那条记录DROP掉。