torch计算图直观体验

最新推荐文章于 2024-05-05 02:09:24 发布

khk_abc

最新推荐文章于 2024-05-05 02:09:24 发布

阅读量937

点赞数

分类专栏： pytorch 学习笔记文章标签： pytorch 深度学习机器学习

本文链接：https://blog.csdn.net/khk_abc/article/details/121795089

版权

学习笔记同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

pytorch

1 篇文章 0 订阅

订阅专栏

为什么把所有不同作用的损失加起来，可以对模型进行有效更新呢？而不会引起各个部分之间的干扰呢？
这是因为虽然不同的损失加起来作为一个标量对模型直接更新，但是在torch的计算图中记录了loss中不同loss的来源，根据不同其来源可以有效的对对应模型部件进行更新。下面举个例子进行介绍。

设 $h t, r t, t t$ 分别是文本模态对应的知识三元组； $h i, r i, t i$ 分别是图像模态对应的知识三元组，目标是学习两组三元组的向量表示，基于平移规则（TransE），并使用MSELoss，先对其进行联合学习，所以损失如下：
$Loss=F.mse_loss(ht+rt,tt)+F.mse_loss(hi+ri,ti)$

torch.manual_seed(1)
ht,rt,tt = nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10))  #  [batch,dim]
hi,ri,ti = nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10))
loss = F.mse_loss(ht+rt,tt)+F.mse_loss(hi+ri,ti)
loss.backward()

print(hi.grad)
print(ht.grad)

以上是将两个任务的损失加起来一起进行更新，并打印对应的梯度。

torch.manual_seed(1)
ht,rt,tt = nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10))  #  [batch,dim]
hi,ri,ti = nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10))
loss = F.mse_loss(ht+rt,tt)
loss.backward()

print(hi.grad)
print(ht.grad)

以上是只计算文本模态的损失，打印发现 $h t$ 和之前损失加和时的梯度是一样的，但是 $h i$ 的梯度为空。

torch.manual_seed(1)
ht,rt,tt = nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10))  #  [batch,dim]
hi,ri,ti = nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10)),nn.Parameter(torch.randn(2,10))
loss = F.mse_loss(hi+ri,ti)
loss.backward()

print(hi.grad)
print(ht.grad)

以上是只计算图像模态的损失，打印发现 $h i$ 和之前损失加和时的梯度是一样的，但是 $h t$ 的梯度为空。
以上结果说损失加和后并不会导致各个损失对不同的部件造成混乱更新，仍只会更新相应的模型部件。这是通过torch中的计算图实现，加和后的损失可以根据计算图进行“溯源”。