近期出现了两篇对ResNet改进的文章,在这里进行阅读并记录一下。
论文地址:https://arxiv.org/pdf/2004.04989.pdf
Github:https://github.com/iduta/iresnet
Abstract:
残差网络(ResNets)代表了一种强大的卷积神经网络(CNN)体系结构,已广泛用于各种任务中。在这项工作中,我们提出了ResNets的改进版本。我们提出的改进措施解决了ResNet的所有三个主要组成部分:通过网络层的信息流,残差模块构建和Projection Shortcut。我们能够显示出在基线之上的准确性和学习收敛性的持续改进。例如,在ImageNet数据集上,使用具有50层的ResNet,对于top-1精度,我们可以通过一种设置比基线提高1.19%,而另一种设置则提高约2%。重要的是,无需增加模型复杂性即可获得这些改进。我们提出的方法使我们可以训练非常深的网络,而基线显示出严重的优化问题。我们报告了六个数据集上三个任务的结果:图像分类(ImageNet,CIFAR-10和CIFAR-100)