使用pyspark 的udf进行tensorflow 模型的预测报错 _pickle.PicklingError: Could not serialize object:

最新推荐文章于 2023-11-29 21:01:22 发布
最新推荐文章于 2023-11-29 21:01:22 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： python TensorFlow 文章标签： tensorflow python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baoyan2015/article/details/129451209
版权

训练了一个bert分类模型，想通过pyspark 调用,一开始将tf模型的加载，预测以及转化成udf和pyspark调用写到了一个文件中，遇到了如下错误：

具体报错： _pickle.PicklingError: Could not serialize object: TypeError: can't pickle _thread.RLock objects

Traceback (most recent call last):
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/serializers.py", line 468, in dumps
    return cloudpickle.dumps(obj, pickle_protocol)
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 1097, in dumps
    cp.dump(obj)
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 357, in dump
    return Pickler.dump(self, obj)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 409, in dump
    self.save(obj)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 736, in save_tuple
    save(element)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 496, in save_function
    self.save_function_tuple(obj)
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 730, in save_function_tuple
    save(state)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 521, in save
    self.save_reduce(obj=obj, *rv)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 634, in save_reduce
    save(state)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 521, in save
    self.save_reduce(obj=obj, *rv)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 634, in save_reduce
    save(state)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 496, in save
    rv = reduce(self.proto)
TypeError: can't pickle _thread.RLock objects
Traceback (most recent call last):
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/serializers.py", line 468, in dumps
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 1097, in dumps
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 357, in dump
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 409, in dump
    self.save(obj)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 736, in save_tuple
    save(element)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 496, in save_function
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/cloudpickle.py", line 730, in save_function_tuple
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 521, in save
    self.save_reduce(obj=obj, *rv)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 634, in save_reduce
    save(state)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 521, in save
    self.save_reduce(obj=obj, *rv)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 634, in save_reduce
    save(state)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 476, in save
    f(self, obj) # Call unbound method with explicit self
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 821, in save_dict
    self._batch_setitems(obj.items())
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 847, in _batch_setitems
    save(v)
  File "/tmp/py3_env.zip/notebook/lib/python3.6/pickle.py", line 496, in save
    rv = reduce(self.proto)
TypeError: can't pickle _thread.RLock objects

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/tmp/tmp/spark-2949189d-9a2e-41fa-b392-4d53e3e9f9d0/bert_predict_new.py", line 75, in <module>
    cmt = df.withColumn("title_vec", model_prediction_udf(F.col("product_name")))
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/sql/udf.py", line 197, in wrapper
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/sql/udf.py", line 175, in __call__
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/sql/udf.py", line 159, in _judf
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/sql/udf.py", line 168, in _create_judf
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/sql/udf.py", line 34, in _wrap_function
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/rdd.py", line 2503, in _prepare_for_python_RDD
  File "/spark-3.0/python/lib/pyspark.zip/pyspark/serializers.py", line 478, in dumps
_pickle.PicklingError: Could not serialize object: TypeError: can't pickle _thread.RLock objects

这个原因可能在于tf 的对象以及代码逻辑不支持序列化，或者需要专门的序列化操作，，，为了解决问题，将tf的代码逻辑放到一个新的文件当中，暴露一个预测接口，，将pyspark代码放到一个文件中，然后在pyspark代码中引入该接口，将其转成udf即可。

from bert_inference import model_pred
model_pred_udf = F.udf(model_pred, T.FloatType())

之后就可以正常运行了

samoyan
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
spark python pickle对象_无法使用spark API写入MySQL - pickle.PicklingError：无法序列化对象(Can't write to MySQL using...
weixin_30213173的博客
02-22 717
I am trying to write to a MySQL table using the spark jdbc() function inside of a partition task that is called from executing foreachPartitions(test). I am however receiving a picking error.I am not ...
_pickle.PicklingError: Could not serialize object: Exception:
最新发布
ngwtbt的博客
05-12 160
5、总结：pyspark中的distinct转换操作只针对一个RDD，代码模板为 RDD名.distinct() 效果为去除名为‘RDD名’的RDD中的重复值，莫要与subtract转换操作混淆，我便是因为混淆导致出错。2、错误原因：pyspark中的RDD转换操作使用错误。
spark python pickle对象_cPickle.PicklingError：无法序列化对象：NotImplementedError
weixin_39884100的博客
12-08 1667
pyspark_1|19/10/2510:23:03INFOSparkContext:Createdbroadcast12frombroadcast atNativeMethodAccessorImpl.java:0pyspark_1|Traceback(most recent call last):pyspark_1|File"/home/ubuntu/spark-2.4.4-bin-hadoo...
python：_pickle.PicklingError: Could not serialize object: IndexError: tuple index out of range
weixin_69200379的博客
11-29 488
pyspark的版本兼容
模型训练中_pickle.PicklingError: Can’t pickle问题解决办法
Zephyr Hou 的博客
04-23 9823
模型训练中_pickle.PicklingError: Can't pickle问题解决办法一、问题描述二、解决办法 欢迎学习交流！ 邮箱： z…@1…6.com 网站： https://zephyrhours.github.io/ 一、问题描述 最近在学习 SiamFC 模型的目标跟踪模型时，发现在window平台进行模型训练时总是出现下面的问题： _pickle.PicklingError: Can’t pickle <class ‘pairwise.GenericDict’>: att
Python3使用pyspark时报错PicklingError
Week_2019的博客
03-27 1518
在使用pyspark的时候，需要使用RDD中的map成员方法。
Pyspark+tensorflow-信用贷款数据分析实战（三）——数据提取
weixin_43676010的博客
12-31 648
3.数据提取 目的：建立因果关系模型 数据提取的时候要对数据有一定的认识，不能是相关而应该是因果（区分相关关系和因果关系），预测的变量x要在被预测变量y之前取得 相关关系：一个小孩子身高的长高速度和GDP增长的速度就可以做相关关系，但这明显没有什么关系。 因果关系：家庭收入和全国GDP总量，这就明显具有一定的因果关系。 细分了特征变量之后，就有了下面的模型框架： 观察窗口（历史）看解释变量...
Pyspark+tensorflow-信用贷款数据分析实战（一）——了解数据
weixin_43676010的博客
12-31 2845
1.了解数据 本数据为一家银行的个人金融业务数据集，可以作为银行场景下进行个人客户业务分析和数据挖掘的示例，这份数据中涉及到5300个银行客户的100万笔交易，涉及700份贷款信息，近900张信用卡的数据。通过分析这份数据可以获取相关的业务知识 例如：1.提供增值服务的银行客户经理，希望明确哪些客户有更多的业务需求。 ​ 2.风险管理的业务人员可以及早发现贷款的潜在损失，根据客户贷款前的属...
Spark新愿景：让深度学习变得更加易于使用
allwefantasy的专栏
09-24 211
前言 Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。 当然牛好吹，也是要做些实际行动的，所有便有了spark-deep-learning项目。这件事情已经有很多人尝试做了，但显然太浅了，DB公司则做的更深入些。 原理 要做深度学习，肯定不能离开TensorFlow,...
Pyspark+tensorflow-信用贷款数据分析实战（四）——提取数据代码
weixin_43676010的博客
12-31 931
4.代码 利用pandas.DataFrame来做数据预处理 import pandas as pd import os #切换到保存数据的目录下 os.chdir('/Users/mac/spark/bank_sample') #列出目录的文件名 loanfile = os.listdir() loanfile #output: """ ['RFM_TRAD_FLOW.csv', 'distr...
【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark框架
PrincessLin的专栏
10-16 2179
安装方法见上上篇。 踩坑： 明明安装成功了tensorflow和tensorflowonspark，却在pyspark上用不起来。 报错：>>> import tensorflow as tf Traceback (most recent call last): File "<stdin>", line 1, in <module> Import...
Could not serialize object cause of HibernateProxy
weixin_34347651的博客
03-08 330
public class HibernateProxyTypeAdapter extends TypeAdapter<HibernateProxy> { public static final TypeAdapterFactory FACTORY = new TypeAdapterFactory() { @Override @Suppr...
python3spark文本分类_如何用Spark深度集成Tensorflow实现文本分类？
weixin_39622399的博客
12-15 173
本篇知识点：Tensorflow编程CNN相关知识PySpark相关知识因为例子较为复杂，我们会假设你不但学习了【Tensorflow基础】，而且还自己主动扩展了TF相关的知识，并且根据里面的推荐，了解了CNN的相关的术语，比如窗口，滑动等。本小节会附有完整代码，建议大家手动输入进自己的编辑器，而不是简单复制黏贴，加深理解。依托于前面几个章节内容的铺垫，本节会通过SDL ，利用CNN来实现一个文本...
机器学习平台系列（三） - PySpark组件依赖的虚拟环境：Keras 和 Tensorflow 版本对应关系
蜗牛的专栏
11-07 698
目录 1.背景介绍 2.PySpark环境 3.问题描述 4.原因分析 1.背景介绍 机器学习平台底层基于大数据平台提供计算资源，在机器学习平台上主要使用 Spark MLlib 实现了共 7 类（源/目标、统计分析、数据预处理、特征工程、机器学习、工具、文本分析） 90+ 个组件（每个组件代表内置的逻辑片段），目的是减少用户重复开发工作、降低机器学习门槛。 2.PySpark...
【Spark+NLP】19、在ubuntu上配置tensorflow的环境（python + tf + tfonSpark + pyspark）
PrincessLin的专栏
09-26 345
1、安装python： ubuntu系统自带python，不是最新版但能凑合用。查看版本： ls -l /usr/bin | grep python 2、安装pip： sudo apt-get install python-pip python-dev 踩坑： （python3.x版本对应的pip3，所以后面又将命令行改成：sudo apt-get install pyth...
Tensorflow基础知识总结（1）
FlySky1991的专栏
05-30 1325
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。Tensorflow自推出以来，广泛应用于图像识别、语音识别、自然语
doris 报错 hs_compile regex pattern error:Embedded start anchors not supported.
06-10
这个错误出现在使用Doris进行正则匹配时，通常是因为正则表达式中包含了嵌入的起始锚点 "^"，但Doris不支持这种嵌入式的起始锚点。 解决这个问题的方法是，将正则表达式中的嵌入式起始锚点"^"改为非嵌入式的起始锚点"\A"。例如，将"^\d+"改为"\A\d+"。 另外，如果你使用的是Doris的UDF函数进行正则匹配，也可以尝试使用其他支持嵌入式起始锚点的正则表达式引擎，如PCRE（Perl Compatible Regular Expressions）等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

samoyan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值