python如何处理一样的命令_Python多处理：如何强制命令执行的优先顺序

我需要通过多处理运行一系列独立的子进程调用。我事先知道，这些工作中有些会比其他工作慢很多。为了有效地利用处理器时间，我认为先对慢作业进行排队是有意义的。通过这种方式，我希望避免出现这样一种奇怪的情况：一个长时间运行的作业最后被调度，其余的处理器处于空闲状态。在这种特殊情况下，实际结果是否按顺序生成并不重要(因为各个进程创建的文件只在所有进程完成后使用)。但重要的是，慢工优先安排。我的第一个问题是，我如何做到这一点？在

我尝试了map()和{}，但一开始我都没有观察到预期的行为。下面的示例运行进程，这些进程除了创建文件和休眠之外没有什么作用。在import subprocess

import multiprocessing

import time

import os

import glob

import sys

NUM_PROCS = 2

def work(cmd):

return subprocess.call(cmd, shell=True)

def generate_cmds(n=10):

for i in xrange(n):

yield "sleep 2 && touch %d.log" % (i)

def main():

assert len(sys.argv)==2, ("missing arg: async=[0|1]")

async = sys.argv[1]=='1'

results = []

pool = multiprocessing.Pool(processes=NUM_PROCS)

if async:

print "map_async()"

p = pool.map_async(work, generate_cmds(), callback=results.extend)

p.wait()# or p.close() and p.join()

else:

print "map()"

results = pool.map(work, generate_cmds())

print "results: %s" % (results)

for f in glob.glob("[0-9]*.log"):

print f, time.strftime('%H:%M:%S',

time.localtime(os.path.getmtime(f)))

if __name__ == "__main__":

main()

在map()的情况下，我假设所创建文件的时间戳应该与命令顺序匹配，因为所有进程完成所需的时间大致相同，但它们不会(如果我不使用chunksize)。似乎其他命令都同时运行：

^{pr2}$

我知道可以通过使用chunksize值1来解决这个问题，但我不明白为什么(有人能解释一下吗？)。最后一个问题是：这是否意味着我应该使用map_async(chunksize=1)作为我的设置？在

谢谢，

安德烈亚斯

PS：我使用Python2.7以防有问题。在