学习了~
来自阿联酋起源人工智能研究院(IIAI)的研究人员公布了一篇论文Improved Residual Networks for Image and Video Recognition,深入研究了残差网络不能更深的原因,提出了改进版的残差网络(Improved Residual Networks,iResNet),使得训练超深网络时更容易收敛,在多个计算机视觉任务(图像分类,COCO目标检测,视频动作识别)中精度也更高。
作者成功在ImageNet数据集上训练了404层网络的模型,在CIFAR-10和CIFAR-100数据集上训练了3002层网络的模型,而原始的残差网络在达到上述层数的时候已经无法收敛。
该文作者信息:
因残差网络几乎已经成为所有深度卷积网络的标配,“涨点又不涨计算量”的iResNet的出现,或可影响深远。
算法思想
作者主要从三个方向来思考残差网络的改进:
1)促进信息在网络中的流动(Improved flow of information)
2)减少信息损失(Improved projection shortcut)
3)不增加计算量前提下增强残差模块的学习能力(Grouped building block)
1. Improved information flow through the network
作者认为原始的ResNet网络模块中的ReLU在将负信号置0时影响了信息的传播