python加速方法：纯CPU多进程加速（joblib库）

我写C++ 代码喜欢用OpenMP进行加速，在不更改源代码情况下只做稍稍修改即可实现CPU利用率最大化，跨平台移植也没有问题。
python是个好东西，苦恼于密级计算的时候只能使用单核，使用多线程不奏效，因为毕竟它受限于语言本身，于是搜索过程中看见了下图，一声苦笑

对于一核有难，七核围观的尴尬情况有效解决方案，多进程。python多进程有多种方式，例如：multiprocessing、joblib
等等joblib什么鬼，为啥它能实现多进程，请参考查阅这篇文章

通过上面可以看出joblib的确是多进程技术
下面测试代码中分别对普通计算、joblib加速计算、multiprocessing加速计算进行计时及结果统计

import time
from joblib import Parallel, delayed
import multiprocessing#多进程加速



def square(num):
    time.sleep(1)  # 模拟耗时的计算操作
    return num ** 2

def JobLibDemo(numbers):#利用JobLib并行加速
    results = Parallel(n_jobs=-1)(delayed(square)(num) for num in numbers)
    return results

def NormalComput(numbers):#普通计算
    results = []
    for num in numbers:
        results.append(square(num))
    return results

def MulProcessDemo(numbers):
    pool = multiprocessing.Pool()
    results = pool.map(square, numbers)
    pool.close()
    pool.join()
    return results

if __name__ == '__main__':
    numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

    start_time = time.time()
    resultsN = NormalComput(numbers)#普通for循环计算
    end_time1 = time.time()
    # results = Parallel(n_jobs=-1)(delayed(square)(num) for num in numbers)
    results = JobLibDemo(numbers)# 并行计算每个数字的平方
    end_time2 = time.time()
    resultsM = MulProcessDemo(numbers)#多进程计算结果
    end_time3 = time.time()

    # 打印计算结果
    print(resultsN)
    print(results)
    print(resultsM)
    print("普通处理时间：", end_time1 - start_time)
    print("JobLib并行处理时间：", end_time2 - end_time1)
    print("MulProcess并行处理时间：", end_time3 - end_time2)

运行结果

通过上面可以看出，jobLib的耗时最短，其代码写法及类似于C++ 的OpenMP加速方法

按此方法进行了两个函数加速，查看CPU使用效率图，如下图，结果是不是相当哇塞

上面列了不少好处，但是jobLib多进程运行效率相当高，但是不好调试，所以写的时候要搞清楚其并行原理，写好正常执行代码，最后改装成joblib即可

参考链接
Python并行计算库Joblib的技术原理解析