出现这种情况的原因是因为UDF默认是确定性(deterministic)的,即每一次输入都是确定的,不确定性(nondeterministic)是每一次输入都是不确定的,spark里只需要在udf后面.asNondeterministic()就可以改成不确定性了。
目的是为了消除重复性操作
出现这种情况的原因是因为UDF默认是确定性(deterministic)的,即每一次输入都是确定的,不确定性(nondeterministic)是每一次输入都是不确定的,spark里只需要在udf后面.asNondeterministic()就可以改成不确定性了。
目的是为了消除重复性操作