DataStage优化之一：STAGE的顺序优化

场景描述：

        对于如上图所示的ETL处理过程：源数据需要与STG_A和STG_B两个STAGE读出的数据关联（使用JOIN STAGE，且假设STG_B的关联字段来源于STG_SRC源表）。各STAGE实际需要处理的时间如下：
        STG_SRC  5MIN
        STG_A    10MIN
        STG_B    6MIN
        JON_A    5MIN
        JON_B    7MIN
        则STAGE实际执行时间=STG_A + JON_A + JON_B = 10 + 5 + 7 = 22 MIN。
优化分析：
        由于STG_A和STG_B数据读取时间存在时间差。在第6分钟时STG_SRC和STG_B两个STAGE中的数据已准备好，且JON_B中的关联字段并没有用到STG_A源的数据。所以此时，STG_SRC和STG_B可以先做关联，这样可以节省一部分因STG_A读取数据而JON_A STAGE等待的时间。
        修改后的JOB处理过程如下图。

        修改后STAGE实际执行时间=STG_B + JON_B + JON_A = 6 + 5 + 7 = 18 MIN。
结论：
        对于无先后依赖的处理步骤，可根据各步骤实际可开始时间优化不同步骤间的执行顺序，以使处理过程的等待时间最短。