写了一个spark的udf,然后跑数据的时候一部分数据跑通了,然后有几个没有跑通,报错的行和其他行之间也没什么区别,并且删除以后依然无法运行,然后灵机一动,转成pandas重新跑了一次,这时候才真的把报错的行显示出来,然后也发现真的数据格式和udf里边的不太符合,删除行后能跑通了,寄几猜测一下应该是spark分开跑,报错的行就和真实dataframe里边的行不太符合,嗯,如果不是我再来修改,gagagaga
踩坑-spark_dataframe
最新推荐文章于 2024-08-14 16:26:58 发布