![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
文章平均质量分 66
Mikeyboi
这个作者很懒,什么都没留下…
展开
-
一些debug笔记
记录了深度学习计算机视觉研究中遇到的一些bug原创 2022-07-10 23:40:18 · 403 阅读 · 0 评论 -
梯度剪裁: torch.nn.utils.clip_grad_norm_()
目录前言一、原理二、使用方法总结前言当神经网络深度逐渐增加,网络参数量增多的时候,反向传播过程中链式法则里的梯度连乘项数便会增多,更易引起梯度消失和梯度爆炸。对于梯度爆炸问题,解决方法之一便是进行梯度剪裁,即设置一个梯度大小的上限。本文介绍了pytorch中梯度剪裁方法的原理和使用方法。一、原理注:为了防止混淆,本文对神经网络中的参数称为“网络参数”,其他程序相关参数成为“参数”。pytorch中梯度剪裁方法为 torch.nn.utils.clip_grad_norm_(parameters原创 2021-08-08 23:52:04 · 28400 阅读 · 14 评论