DataStage开发常见问题之二:DS中比较运算符对NULL值的处理

        DataStage作为一款极易上手的ETL工具,在国内占据着大部分的市场。但即使DataStage操作起来已经相当直观,且日志提示信息也已比较明了,但实际开发过程中仍然会遇到这样那样的问题。
        为了提醒大家,特别是DataStage新手在学习实践过程中少走一些弯路。特根据本人在DataStage开发过程中的实际经验,总结了一些DataStage开发时需要注意的细节,仅供参考。下面有几点需要说明一下:
        第一:由于平时空闲的时间比较少,而且也不可能一次将所有注意点列出,所以本文章在后续会不断更新。
        第二:因为只有工作时,才有DataStage8.5的开发测试环境,而在我自己的笔记本上安装的是DataStage7.5版本,所以例子基本全都使用DataStage7.5版本。如果哪位朋友有DataStage8.5的环境,非常欢迎能够共享出来,大家共同学习。
        第三:由于本人水平有限,文章中若出现纰漏的地方,还请帮忙指正,不胜感激!

        
        环境:DataStage7.5
        错误描述:源表test.tab2(A,B)有两条数据(1,NULL),(1,2)。经过一个Transformer Stage的处理,根据字段A、B生成字段C。生成逻辑如下:
        IF ( A = 1 OR B = 2 ) THEN 'TRUE' ELSE 'FALSE'
        经过Transformer Stage的处理后,预期结果为两条,分别是(1,NULL,TRUE),(1,2,TRUE)。但JOB实际运行结果却只有一条(1,2,TRUE)。
        JOB结构如下图:
        
        原因分析:根据结果判断,第一条记录(1,NULL)被Transformer Stage过滤掉可能是因为B的值为NULL造成的。
        解决方法:修改Transformer Stage中的条件判断,先对B字段做空值处理后,输出结果与预期一致。
        IF ( A = 1 OR NullToZero(B) = 2 ) THEN 'TRUE' ELSE 'FALSE'
        
        结论:DS中,作比较运算符左右两边的表达式不可为空,如果为空,必须先做空值处理再比较,否则实际结果可能与预期结果不一致。
        另外在DS8.5中,对上述情况,会返回(1,NULL,FALSE),(1,2,TRUE),而不是像DS7.5那样把字段B为NULL值的那条记录DROP掉。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值