1. df = hc.sql(..... limit 1000) # limit 具有随机性
然后df2 = df.xxx df3 = df2.xxx
经过一系列操作后 df4 = df3.join(df) # join出来会是空置,因为是两条DAG合并,df3是一条DAG,执行了limit , df是一条DAG,也执行了limit,两次limit的可能是从不同的分区各拿的1000条数据,因此join不上,join为空。图示如下:
1. df = hc.sql(..... limit 1000) # limit 具有随机性
然后df2 = df.xxx df3 = df2.xxx
经过一系列操作后 df4 = df3.join(df) # join出来会是空置,因为是两条DAG合并,df3是一条DAG,执行了limit , df是一条DAG,也执行了limit,两次limit的可能是从不同的分区各拿的1000条数据,因此join不上,join为空。图示如下: