sql中有not in,尝试改成not exists,可能产生BroadcastNestedLoopJoin,导致广播无法禁掉。
禁止使用广播变量的配置参数 spark.sql.autoBroadcastJoinThreshold = -1
not in 改成not exists 等同于
sql中有not in,尝试改成not exists,可能产生BroadcastNestedLoopJoin,导致广播无法禁掉。
禁止使用广播变量的配置参数 spark.sql.autoBroadcastJoinThreshold = -1
not in 改成not exists 等同于