![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习杂货铺
个人学习记录
宁静致远*
这个作者很懒,什么都没留下…
展开
-
梯度消失、梯度爆炸
反向传播算法(即BP算法)是从输出层反向传到输入层,逐层传递误差梯度,进而进行权重的更新。训练很深的神经网络时,随着层数的增加,导数会出现指数级的下降,则导致梯度消失。或者指数级的增加,导致梯度爆炸;本质是梯度传递的链式法则所导致的矩阵高次幂(反向传播会逐层对函数求偏导相乘)。 1 梯度消失 1.1 原因 在深层网络中,如果激活函数的导数小于1,根据链式求导法则,靠近输入层的参数的梯度因为乘了很多的小于1的数而越来越小,最终就会趋近于0,例如函数,其导数为的值域为,极易发生这种情况。所以梯度消失出现.原创 2020-05-18 12:45:27 · 446 阅读 · 0 评论 -
Mac+PyCharm+Anaconda+PyTorch+Opencv
参考: https://blog.csdn.net/joyzhouyj/article/details/102774373 https://blog.csdn.net/a_z666666/article/details/90474253 1.安装Anaconda 去Anaconda官网下载安装包,选择Python 3.7版本。下载好以后双击安装,一路默认就可以。 2. 建立并激活自己的...原创 2020-05-06 15:06:26 · 584 阅读 · 0 评论