spark python pickle对象_如何序列化pyspark管道对象？

我正在尝试序列化PySpark Pipeline对象,以便以后可以保存和检索它.尝试使用

Python pickle库以及PySpark的PickleSerializer,dumps()调用本身就失败了.

使用本机pickle库时提供代码片段.

pipeline = Pipeline(stages=[tokenizer, hashingTF, lr])

with open ('myfile', 'wb') as f:

pickle.dump(pipeline,f,2)

with open ('myfile', 'rb') as f:

pipeline1 = pickle.load(f)

运行时出现以下错误：

py4j.protocol.Py4JError: An error occurred while calling o32.__getnewargs__. Trace:

py4j.Py4JException: Method __getnewargs__([]) does not exist

at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)

at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)

at py4j.Gateway.invoke(Gateway.java:252)

at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)

at py4j.commands.CallCommand.execute(CallCommand.java:79)

at py4j.GatewayConnection.run(GatewayConnection.java:209)

at java.lang.Thread.run(Thread.java:785)

是否可以序列化PySpark Pipeline对象？

最佳答案 从技术上讲,您可以轻松挑选Pipeline对象：

from pyspark.ml.pipeline import Pipeline

import pickle

pickle.dumps(Pipeline(stages=[]))

## b'\x80\x03cpyspark.ml.pipeline\nPipeline\nq ...

你不能腌制的是Spark变形金刚和估算器,它们只是JVM对象的瘦包装器.如果你真的需要这个,你可以将它包装在一个函数中,例如：

def make_pipeline():

return Pipeline(stages=[Tokenizer(inputCol="text", outputCol="words")])

pickle.dumps(make_pipeline)

## b'\x80\x03c__ ...

但由于它只是一段代码并且不存储任何持久性数据,因此它看起来并不特别有用.