自监督｜「ResNet v1」阅读笔记

「ResNet v1」阅读笔记

前段时间读了不少cv的自监督论文，通过自己的输出加强理解，同时也通过平台将自己的想法展示给大家，方便交流。
论文：Deep Residual Learning for Image Recognition
地址：Deep Residual Learning for Image Recognition

Intro

模型层数增加会导致梯度爆炸和梯度消失，解决方法有：1. 初始化的时候进行normalization；2. 中间加入BN。现在存在degration 问题：网络深度（层数）增加，准确率逐步饱和，然后快速degrate（下降）；经过分析，导致degration的原因不是由于过拟合，增加更多层会导致更高的训练误差。

论文建立深度残差网络结构: 用浅层学习x，再用深层为 residual 建模，最后直接加在一起。并通过实验证明：1. ResNet 更好优化，原始的stack layers训练误差更大；2. ResNet会从深度增加过程获得更大收益

Related Work

Residual representation: 图像识别领域有 VLAD模型，Fisher Vector是VLAD的概率模型；偏微分方程领域，Multigrid方法也有广泛的应用。残差表征在这两个领域的使用说明变形和预先处理可以简化优化问题。
此外，Shortcut 的概念在2015年的论文 Highway networks 中就提出了。同时我找了原理部分的译文描述，方便理解。

Deep Residual Learning

一图胜千言，理解这张图就能理解 ResNet 的中心思想，接着论文的细节难点便能不攻自破。

Figure 2. 的网络顶部未画出部分是一个普通的浅层网络 $H(x)$ 用来学 $x$, 新加的层 $F(x)$ 不是继续学 $x$，而是用来学习误差 $H($