Pytorch中retain_graph参数的作用

Wanderer001

已于 2023-11-02 20:14:07 修改

阅读量2.6k

点赞数 2

分类专栏： Pytorch 文章标签：开发语言

于 2022-04-11 11:57:15 首次发布

本文链接：https://blog.csdn.net/weixin_36670529/article/details/108685616

版权

在PyTorch中，当执行backward()时，若retain_graph=False，计算图会被释放，导致无法进行第二次反向传播。retain_graph=True用于在有多个损失函数且需要分别计算梯度时，如神经网络风格迁移中Content Loss和Style Loss的情况，防止中间变量被释放，确保两个loss的反向传播互不影响。

摘要由CSDN通过智能技术生成

RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.

前言

在pytorch神经网络迁移的官方教程中有这样一个损失层函数（具体看这里提供0.3.0版中文链接：利用pytorch实现神经网络风格迁移Neural Transfer - Oldpan的个人博客）。

class ContentLoss(nn.Module):

    def __init__(self, target, weight):
        super(ContentLoss, self).__init__()
        self.target = target.detach() * weight
        # 因为这里只是需要target这个数值，这个数值是一种状态，不计入计算树中。
        # 这里单纯将其当做常量对待，因此用了detach则在backward中计算梯度时不对target之前所在的计算图存在任何影响。
        self.weight = weight
        self.criterion = nn.MSELoss()

    def forward(self, input):
        self.loss = self.criterion(input * self.weight, self.target)
        self.out