AF3 prep_blocks 函数解读

prep_blocks 函数

该函数用于对一系列模块(或块)进行预处理,为前向传播(forward pass)做准备,尤其是当需要在块之间清除缓存时。

源代码:

def prep_blocks(
        blocks: List[Callable], 
        clear_cache_between_blocks: bool, 
        **kwargs: Any
) -> List[Callable]:
    """Prepare the blocks for the forward pass."""
    prepared_blocks = [
        partial(block, **kwargs)
        for block in blocks
    ]

    # Clear CUDA's GPU memory cache between blocks
    if clear_cache_between_blocks:
        def block_with_cache_clear(block, *args, **kwargs):
            torch.cuda.empty_cache()
            return block(*args, **kwargs)

        prepared_blocks = [partial(block_with_cache_clear, b) for b in prepared_blocks]
    return prepared_blocks

源码解读:

1. 函数定义
def prep_blocks(
        blocks: List[Callable], 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值