python 2 print ioerror_多处理IOError:错误的消息长度

当向map函数传递大参数时,我得到一个IOError: bad message length。我怎样才能避免这种情况?

当我设置N=1500或更大的值时发生错误。

代码是:import numpy as np

import multiprocessing

def func(args):

i=args[0]

images=args[1]

print i

return 0

N=1500 #N=1000 works fine

images=[]

for i in np.arange(N):

images.append(np.random.random_integers(1,100,size=(500,500)))

iter_args=[]

for i in range(0,1):

iter_args.append([i,images])

pool=multiprocessing.Pool()

print pool

pool.map(func,iter_args)

编辑

如果我使用images作为numpy数组而不是列表,则会得到一个不同的错误:SystemError: NULL result without error in PyObject_Call。

有点不同的代码:import numpy as np

import multiprocessing

def func(args):

i=args[0]

images=args[1]

print i

return 0

N=1500 #N=1000 works fine

images=[]

for i in np.arange(N):

images.append(np.random.random_integers(1,100,size=(500,500)))

images=np.array(images) #new

iter_args=[]

for i in range(0,1):

iter_args.append([i,images])

pool=multiprocessing.Pool()

print pool

pool.map(func,iter_args)

EDIT2我使用的实际函数是:def func(args):

i=args[0]

images=args[1]

image=np.mean(images,axis=0)

np.savetxt("image%d.txt"%(i),image)

return 0

此外,iter_args不包含相同的图像集:iter_args=[]

for i in range(0,1):

rand_ind=np.random.random_integers(0,N-1,N)

iter_args.append([i,images[rand_ind]])

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值