[并行计算]多核多进程计算 - 平均分配算法

问题描述：希望调用起多核处理器进行多进程计算，假设使用的并行规模为k，文件数为n，若计算时间与文件大小成线性关系，请问如何分配n个文件到不同的进程，使得总并行效率最高？

 

1.蛇形分配：

n个文件 按照文件名读取的一般顺序依次放入k个并行块直到结束，优点就是代码比较简单，缺点就是若文件大小分布不均匀，则跑的长时间的文件极大可能拖慢整体的速度。

 

2.倒序贪婪：

1.将文件从大到小排好顺序
2.先把头k个文件依次放入k个并行块
3.若计数刚好等于并行块个数k，将并行块的总大小按 从小到大排序
4.重复2-3步骤直到所有文件塞满

 

算法的思想就是 对已安排的并行块，找到总文件大小最小的在头，下次将塞进最大的文件以弥补他的缺失，像一个回旋的上山公路一样，谁缺，就用最大的填补谁。因为到最后文件的大小都比较小，所以可以像沙子一样慢慢填满石头的空隙。