本文探讨了在深度学习中，普通神经网络正向传播与反向传播过程中的梯度消失和爆炸问题。通过对残差网络(ResNet)的基础理解，阐述了残差处理如何通过改变模型输出值的构成，在梯度计算中引入加法，从而缓解梯度消失，保证信息有效传播，确保深层网络参数的有效更新。
普通网络：
假设有一个神经网络如上图所示，包含两个层（weight layer1、weight layer2，无激活函数）
那么对这个神经网络进行一次正向传播+反向传播的过程为：
正向传播：
输入x，经过第一层，f(x) = w1x + b1
经过第二层，g(f(x)) = w2f(x) + b2
Loss(y, g(f(x))) = (y – g(f(x)))^2（也可为其它损失计算方式，此处不重要）
反向传播：
对残差网络(ResNet/Residual Network)的基础理解
于 2022-03-09 17:59:58 首次发布
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
