python强制退出不报错_python 多线程、多进程加Queue运行到最后不报错不退出,僵死,求大神解答?...

#coding=utf-8

import sys,time,urllib,json,datetime

import urllib2

import threading

from Queue import Queue

from random import randint

class thread_init(threading.Thread):

def __init__(self, que):

threading.Thread.__init__(self)

self.que = que

def run(self): # 使用队列实现进程通信

while True:

num = self.que.get(block=True)

key = num[0]

clid = num[1]

dataType = num[2]

date = num[3]

thrnum = num[4]

if str(key) == '12345678':

pass

else:

if int(self.que.qsize()) <= (int(thrnum) * 1.5):

metux.acquire()

getZhdgclzczs(key,clid,dataType,date)

metux.release()

else:

getZhdgclzczs(key, clid, dataType, date)

curCount = self.que.maxsize - self.que.unfinished_tasks

# curCount = self.que.maxsize - self.que.qsize()

allCount = self.que.maxsize

percent = str((1 - float(self.que.unfinished_tasks) / float(self.que.maxsize))*100)+'%'

result = '%s,%s进度:%s/%s,%s' % (str(key), str(clid), curCount, allCount, percent)

print result

if self.que.empty():

self.que.task_done()

break

self.que.task_done()

def getZhdgclzczs(key,clid,dataType,date):

key = key

clid = clid

dataType = dataType

date = date

# time.sleep(0.1)

def Main(groupNum, dataType, date):

global metux

metux = threading.RLock()

groupNum = int(groupNum)

print '开始'

user_list_bef = [(randint(1, 10000), randint(1, 10000)) for i in range(1000)]

user_list_new = [(tmp_user[0],tmp_user[1],dataType,date,groupNum) for tmp_user in user_list_bef]

user_list_new.sort(key=lambda x: x[0])

allCount = len(user_list_new)

threads = []

queue = Queue() # 建立消息队列

queue.maxsize = allCount

for i in range(len(user_list_new)):

queue.put(user_list_new[i])

for j in range(groupNum):

thread = thread_init(queue)

thread.start()

threads.append(thread)

for thread in threads:

thread.join()

print '100%'

d1 = datetime.datetime.now()

Main('20', '3', '20170126')

d2 = datetime.datetime.now()

print d2 - d1

# 如果不注释time.sleep(0.1)就不出现僵死情况,如果注释掉,每次都会僵死,在我的代码中,十次会出现1-2次僵死情况

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当尝试将`map`对象作为参数传递给多进程函数时,会引发`TypeError: can't pickle select.epoll objects`错误。这是因为`map`对象无法序列化,而多进程在启动时需要对参数进行序列化。 要解决这个问题,可以使用`multiprocessing`模块的`Manager`类来创建一个可序列化的代理对象来传递`map`对象。以下是一个示例代码: ```python import multiprocessing def process_function(my_map): # 在这里使用my_map对象 for item in my_map: # ... if __name__ == '__main__': my_map = [1, 2, 3, 4, 5] # 这里是你的map对象 with multiprocessing.Manager() as manager: map_proxy = manager.list(my_map) process = multiprocessing.Process(target=process_function, args=(map_proxy,)) process.start() process.join() ``` 在上述示例代码中,我们首先创建了一个`map`对象`my_map`,然后使用`Manager`类创建了一个可序列化的代理对象`map_proxy`。这个代理对象可以在多进程间共享,并且支持对其进行迭代操作。 接下来,我们创建了一个多进程,并将代理对象`map_proxy`作为参数传递给进程函数。在进程函数中,我们可以直接使用这个代理对象进行操作,例如迭代其中的元素。 需要注意的是,代理对象会在多进程间进行数据同步,所以对于大型的`map`对象,可能会有一些性能上的开销。另外,还可以考虑使用其他的进程间通信机制,如`Queue`、`Pipe`等,具体取决于你的需和代码结构。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值