python并行库------joblib

 

Joblib就是一个可以简单地将Python代码转换为并行计算模式的软件包，它可非常简单并行我们的程序，从而提高计算速度。主要提供了以下功能

1. 程序并行
2. 用于在每次使用相同的输入参数调用函数时将其返回值缓存
3. 数据存储（包括不可哈希的数据和大规模numpy数组）

目录

程序并行

delayed函数

Parallel函数

---

• 程序并行

joblib提供了一个简单地程序并行方案，主要有Parallel函数实现，并涉及了一个技巧性的函数delayed。

• delayed函数

  以下为delayed函数的源码

def delayed(function):
    """Decorator used to capture the arguments of a function."""

    def delayed_function(*args, **kwargs):
        return function, args, kwargs
    try:
        delayed_function = functools.wraps(function)(delayed_function)
    except AttributeError:
        " functools.wraps fails on some callable objects "
    return delayed_function

*functools.wraps 旨在消除装饰器对原函数造成的影响，即对原函数的相关属性进行拷贝，已达到装饰器不修改原函数的目的。从功能上来说，可以认为被wrap修饰后的函数与原函数功能完全相同，暂时忽略不计

delayed函数顾名思义就是延迟函数的执行。根据源码来看，delayed函数保留被修饰的函数function和参数*args, **kwargs，在碰到调用时，并不直接执行函数function(*args, **kwargs),而是返回返回元组(function,args,kwargs)。返回的这个结果留待其他函数执行，在joblib里具体是与Parallel配合的。

下面我们通过具体例子看一下delayed函数如何工作的

import functools

def delayed(function):
    """Decorator used to capture the arguments of a function."""

    def delayed_function(*args, **kwargs):
        return function, args, kwargs
    try:
        delayed_function = functools.wraps(function)(delayed_function)
    except AttributeError:
        " functools.wraps fails on some callable objects "
    return delayed_function

    
def f(x,y):
    
    return x+y

res = delayed(f)(1,y=3)
print(res)

执行结果为：

(<function f at 0x00000000081C29D8>, (1,), {'y': 3})

返回了原始的函数f和调用它是的两个参数。

上面也说过delayed函数其实是一个修饰器，因此上面的代码与下面的写法等价

@delayed    
def f(x,y):  
    return x+y

res = f(1,y=3)
print(res)

*delayed之后并未得到函数的执行结果，我们如果想得到预期的执行结果应该怎么做呢?其实delayed函数主要是与其他函数配合的，我们可以再写一个程序进行计算：

def f(x,y):    
    return x+y

res = delayed(f)(1,y=2)
print(res)
#out: (<function f at 0x00000000081C2510>, (1,), {'y': 2})
foo,args,kwargs = res
final_res = foo(*args,**kwargs)
print(final_res)
#