论文名称:《Improved Residual Networks for Image and Video Recognition》
论文链接:https://arxiv.org/abs/2004.04989
代码链接:https://github.com/iduta/iresnet
简介
残差网络(ResNets)代表了一种强大的卷积神经网络(CNN)体系结构,已广泛用于各种任务中。在这篇论文中,作者针对ResNets的三个主要组成部分(网络层之间的信息流、残差构建块和projection shortcut)加以改进,提出了ResNets的改进版本。
作者在三个任务涵盖6个数据集上检测了模型性能,包括图像分类(ImageNet、CIFAR-10和CIFAR-100)、目标检测(COCO)和视频行为识别(Kinetics-400和Something-Something-v2)。这项工作为CNN的深度建立一个新的里程碑。它成功地在ImageNet上训练了404层网络,并在CIFAR-10和CIFAR-100上成功训练了3002层,而baseline在这种深度下则表现出严重的优化问题。
研究动机
(1) 残差网络提供了一种解决网络退化问题的思路,这使得有效学习深得多的网络成为可能。然而,论文[1]通过实验证明,残差网络并不能完全解决网络的退化问题。例如,在ImageNet数据集上,当将网络深度从152层增加到200层,这导致明显更差的结果,表现出严重的优化问题。这表明,当网络层数增加时,残差网络仍然会危害网络中信息的传输。( 促进网络中信息传输就有意义了)
(2) 为了使不同残差模块之间的维度能够匹配,残差网络提出了projection shortcuts。projection shortcuts在网络结构中扮演着重要的角色,因为它们位于主要的信息传播路径上,因此容易干扰信号或造成信息丢失。( 改进projection shortcuts也有必要了<
【论文笔记】Improved Residual Networks (iResNet)
最新推荐文章于 2024-06-21 09:49:06 发布