【论文笔记】Improved Residual Networks (iResNet)

论文名称：《Improved Residual Networks for Image and Video Recognition》
论文链接：https://arxiv.org/abs/2004.04989
代码链接：https://github.com/iduta/iresnet


简介
残差网络（ResNets）代表了一种强大的卷积神经网络（CNN）体系结构，已广泛用于各种任务中。在这篇论文中，作者针对ResNets的三个主要组成部分（网络层之间的信息流、残差构建块和projection shortcut）加以改进，提出了ResNets的改进版本。
作者在三个任务涵盖6个数据集上检测了模型性能，包括图像分类(ImageNet、CIFAR-10和CIFAR-100)、目标检测(COCO)和视频行为识别(Kinetics-400和Something-Something-v2)。这项工作为CNN的深度建立一个新的里程碑。它成功地在ImageNet上训练了404层网络，并在CIFAR-10和CIFAR-100上成功训练了3002层，而baseline在这种深度下则表现出严重的优化问题。


研究动机
(1) 残差网络提供了一种解决网络退化问题的思路，这使得有效学习深得多的网络成为可能。然而，论文[1]通过实验证明，残差网络并不能完全解决网络的退化问题。例如，在ImageNet数据集上，当将网络深度从152层增加到200层，这导致明显更差的结果，表现出严重的优化问题。这表明，当网络层数增加时，残差网络仍然会危害网络中信息的传输。( 促进网络中信息传输就有意义了)
(2) 为了使不同残差模块之间的维度能够匹配，残差网络提出了projection shortcuts。projection shortcuts在网络结构中扮演着重要的角色，因为它们位于主要的信息传播路径上，因此容易干扰信号或造成信息丢失。( 改进projection shortcuts也有必要了)
(3) 残差网络构建了瓶颈模块来控制模型的参数量和计算量。然而，在这种瓶颈结构中，唯一的负责学习空间滤波器的卷积所接收的输入/输出通道却是最少的。( 很容易想到࿰