LuffysMan的博客

参考了解释Pytorch autograd,backward详解通常在训练的时候, 最后的loss是一个标量, 无脑使用loss.backward()进行反向传播计算梯度即可. 但是碰到有些代码中出现了多个loss, 比如这样的代码:torch.autograd.backward([loss0, loss1], [torch.ones_like(loss0), torch.ones_like(loss1)])当loss是一个标量值的时候此时反向传播求梯度比较好理解, 假设>>>

关于pytorch Module类eval方法只是一个标志位实测效果结论 最近看一篇论文的源码, 作者为了将某几层bn层冻结, 居然对每个bn层调用了 bn层的eval()方法. 我有所怀疑是否有效, 查看了pytorch对应的源码, 并做了测试, 确定这样做没什么卵用.只是一个标志位model.eval()只是设置一个标志位, 同理model.train()也是一样. 查看Module类源码, eval()方法只做了一件事情, 调用self.train(False). def eval(se