![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
我是DJ你会爱我吗
这个作者很懒,什么都没留下…
展开
-
Pytorch系列:hook()函数
1.为什么要使用hook()函数Pytorch在进行完一次反向传播后,出于节省内存的考虑,只会存储叶子节点的梯度信息,并不会存储中间变量的梯度信息。然而有些时候我们又不得不使用中间变量的梯度信息完成某些工作,这时候hook()函数就可以派上用场啦hook()函数翻译成中文叫做钩子函数,这非常形象:我们的主任务是反向传播更新梯度,而钩子函数就是挂在主任务上的辅任务主要有四种钩子函数:①tor...原创 2019-12-15 22:55:44 · 1781 阅读 · 0 评论 -
Pytorch系列:backward()函数介绍
点击这里了解反向传播算法1. torch.Tensor.backward()backward(gradient=None, retain_graph=None, create_graph=False)①函数的作用获取计算图中某个tensor的叶子节点的梯度计算图:一个函数构成了一个计算图,计算图的根节点是函数的输出,叶子节点是函数的输入叶子节点:图结构中没有子节点的节点...原创 2019-12-05 20:36:25 · 2577 阅读 · 1 评论