Python多进程 struct.error: ‘i‘ format

最新推荐文章于 2025-02-05 08:10:32 发布

溪水人家

最新推荐文章于 2025-02-05 08:10:32 发布

阅读量3.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python 多进程

本文链接：https://blog.csdn.net/xdshust/article/details/108734666

在使用Python多进程处理大文件时，由于pickle序列化数据过大，触发'i'格式错误。该问题在Python3.8非Windows系统已修复。解决方案包括将结果写入文件后汇总，检查Python版本或使用dask等并行处理库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当对多个文件进行同样的预处理时，为了加快处理速度会使用Python多进程。每个进程返回数据给父进程，做最后的合并处理。

问题描述与分析

代码在处理大文件时候会抛出如下错误，但当处理的文件较小时候，一切正常。

concurrent.futures.process._RemoteTraceback:
"""
Traceback (most recent call last):
  File "/home/dxi/software/python3.7.9/lib/python3.7/concurrent/futures/process.py", line 205, in _sendback_result
    exception=exception))
  File "/home/dxi/software/python3.7.9/lib/python3.7/multiprocessing/queues.py", line 364, in put
    self._writer.send_bytes(obj)
  File "/home/dxi/software/python3.7.9/lib/python3.7/multiprocessing/connection.py", line 200, in send_bytes
    self._send_bytes(m[offset:offset + size])
  File "/home/dxi/software/python3.7.9/lib/python3.7/multiprocessing/connection.py", line 393, in _send_byte