[已解决]TypeError: cannot pickle ‘_io.BufferedReader‘ object

ruby0422

已于 2023-12-09 21:29:52 修改

阅读量1.1k

点赞数 5

分类专栏： Python 文章标签： python

于 2023-12-09 20:17:09 首次发布

本文链接：https://blog.csdn.net/ruby0422/article/details/134899850

版权

学习python多进程multiprocessing时发现的报错

if __name__ == '__main__':
    myconn = ConnMysql()
    table_name = "student_test_1"
    myconn.create_table(table_name)

    createdata = CreateData()

    list = []
    for i in range(0, 1000000):
        list.append<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ruby0422

关注关注

5
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object

Irving.Gao的博客

02-22

1721

【代码】Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object。

TypeError: cannot pickle ‘_io.BufferedReader‘ object

TheHonestBob的博客

08-31

6158

一、报错背景最近做TTS时写数据预处理代码的时候，使用到了multiprocessing.Pool方法，即python自带的进程池方法，故此遇到这个报错。二、报错原因后来在简书的一位大佬的文章中找到原因，是由于我是在类中的某个方法调用的multiprocessing.Pool，一般都不会有问题，但是由于我的这个类的__init__初始化类属性的时候有一个g2p_en库进行了初始，报错所说的不能序列化的对象就是指__init__函数里面的某个类属性，后来我测试了logging模块、和生成器都不能在__i

参与评论您还未登录，请先登录后发表或查看评论

python使用多进程报错TypeError: cannot pickle ‘_io.BufferedReader‘ object

weixin_43487849的博客

11-29

5037

python使用多进程报错TypeError: cannot pickle '_io.BufferedReader' object 在使用mutiprocess模块时，报错TypeError: cannot pickle ‘_io.BufferedReader’ object，将p.start()改为p.run即可。

'TypeError("canno t serialize '_io.BufferedReader' object",)

qq_36415775的博客

09-19

1246

在使用python多进程中遇到的问题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...

cannot serialize _io.BufferedReader object问题总结反思

热门推荐

Wzzzx的博客

10-21

1万+

照例先上代码。这份代码跟我的爬虫代码犯了一样的错。class Text: def __init__(self): self.num = 10 def Start(self): read = Process(target = self.read) write = Process(target = self.write) rea

python中关于TypeError: can't pickle instancemethod objects的错误解决方案

qq_43654142的博客

08-27

1909

python中关于TypeError: can’t pickle instancemethod objects的错误解决方案在本人关于多进程下运行类方法一文中有遇到上述错误，通过相关搜索了解到，可能是我们在实例化多进程对象的过程中，实例化对象的某些属性没有办法序列化导致。下面通过具体的代码进行实例化对象是否存在不能序列化现象的验证。首先在类中定义如下的方法： def __getstate_...

pickle.dump(npz_data, pkl_file) TypeError: cannot pickle '_io.BufferedReader' object的解决方法

04-26

一个简单的解决方案是将 _io.BufferedReader_ 对象传递给 pickle.dump() 函数之前将其转换为一个字符串对象，并在需要使用的时候将其转换回 _io.BufferedReader_ 对象，代码示例如下： ```python import io import ...

def func(data): print(data) def worker(array): pool = ThreadPoolExecutor(1) for a in array: pool.submit( func,a ) if __name__ == '__main__': processes = [] data = [i for i in range(300)] for i in range(3): p = multiprocessing.Process(target=worker,args=(data[100*i:100*(i+1)],)) processes.append(p) p.start() for p in processes: p.join() Typeerror cannot serializer '_io.BufferedReader' object

06-09

这个错误可能是因为`multiprocessing.Process`不支持序列化`_io.BufferedReader`对象。你可以尝试将`data`对象转换为可以序列化的对象，例如使用`pickle`模块进行序列化和反序列化。具体来说，你可以将`data`对象...

TypeError: cannot pickle ‘_io.TextIOWrapper‘ object multiprocessing调用pexpect

z2498249的博客

11-19

2565

pexcet和multiprocess一起使用时报错

彻底解决python多进程can‘t pickle问题

最新发布

七哥地盘

10-05

2万+

通过绕开序列化，避免出现can't pickle报错

TypeError: cannot pickle ‘module‘ object

JingYi的专栏

03-08

6012

TypeError: cannot pickle 'module' object

彻底解决 TypeError: cannot pickle ‘_thread.RLock‘ object ，以 PyTorch DDP 为例

LutingWang的博客

04-15

2万+

解决问题的思路是，首先找到导致序列化失败的对象，然后将其覆盖为一个正常对象。

TypeError: cannot serialize '_io.BufferedReader' object 问题记录

shuyichao的博客

03-08

6186

在进行多进程自动化测试代码编写时，出现了cannot serialize _io.BufferedReader object错误，是将一个不可序列化的对象传递给对象从而导致的问题。对于多进程的程序而言，每一个进程都有自己独占的内存空间，他们之间是相互独立的。先看一段我自己写的代码： m=mmsdb() conn=m.connect() cursor=conn.cursor() security_...

Multiprocessing TypeError: cannot serialize '_io.TextIOWrapper' object 的解决方法

岛的博客

03-16

8129

最近在学习 EDSR 项目的时候出现 TypeError: cannot serialize ‘_io.TextIOWrapper’ object，这个问题困扰了一天，讲下大概可能的问题所在。我这里主要的原因还是因为在 iter(dataloader) 的时候开了多线程 (num_workers > 0)，而在data 中传入了 ckp 这个参数， _data = data.Data(ar...

python 多进程 error_callback error: cannot serialize ‘_io.BufferedReader‘ object

RessCris的博客

09-17

1138

测试多进程的应用。期望实现快速调参！