29.2 ResNet为什么能训练出1000层的模型【李沐动手学深度学习v2课程笔记】

目录

如何避免梯度消失？

Residual如何处理梯度消失？

---

如何避免梯度消失？

将乘法运算变成加法运算（ResNet就是这么做的，特别是残差连接（Residual Connection））

Residual如何处理梯度消失？

靠近数据端的权重 w 难以训练，但是由于加入了跨层数据通路，所以在计算梯度的时候，上层的loss可以通过跨层连接通路直接快速地传递给下层，所以在一开始，下面的层也能够拿到比较大的梯度

从梯度大小的角度来解释，residual connection 使得靠近数据的层的权重 w 也能够获得比较大的梯度，因此，不管网络有多深，下面的层都是可以拿到足够大的梯度，使得网络能够比较高效地更新

https://www.bilibili.com/read/cv15472735/?jump_opus=1https://www.bilibili.com/read/cv15472735/?jump_opus=1