pyspark的pickle.PicklingError

今天在用pyspark的时候在一个类中调用rdd的map的时候报错,代码如下:

rdd = df.filter(size(df.emission) > 50).\
         rdd.map(lambda row:hmm_learn(row, self._id))
rdd.collect()

运行的时候报错:

pickle.PicklingError: Cannot pickle files that are not opened for reading

调试了半天才发现是self._id导致的问题,把self._id换成一个普通的变量即可。
原因是我猜的:在每一个task运行的时候已经没有self这个对象了,没有深究原因了。

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页