Resnet（残差网络）

Resnet（残差网络）

---

参考：

https://www.cnblogs.com/alanma/p/6877166.html

https://blog.csdn.net/lanran2/article/details/79057994

---

1. 问题

   训练更加深层的网络能够提取更多的特征。理论上来说会取得更好的效果。

   但是不能简单的增加网络层数

   • 单单增加网络的深度会导致梯度消失以及梯度爆炸的问题
     • 可以通过正则化或者Batch Normalization来解决梯度消失或者梯度爆炸等问题
   • 仅仅依靠正则化或者Batch Normalization来增加网络深度还会带来退化问题
     • 网络在训练集上准确率下降，很难去通过深层网络拟合目标函数

2. 核心思想

   

   对于多层网络来说，拟合潜在的恒等函数 $G(x)$