论文笔记（二）. Learning Identity mapping with Residual Gates

作者：Pedro H..P Savarese

Abstract

这篇论文是受何凯明团队提出的residual networks上启发，及”direct path”可以提高网络的性能，所以作者提出在原有网络结构上增加一个线性门控机制，通过门控参数的优化来达到“identity mapping”效果。作者还使用了一个矩阵来定量测量由非线性映射到恒定映射的学习距离。本文就这种方法提出了一种新的结构Gated Residual network，并且在cifar10数据集上较原型网络（wide ResNets），性能提高8%。

Introduction

受高速网络和残差网络的“skip connection”的影响，本文提出一个新概念：退化能力，及非线性的卷积层退化成直通道（恒等映射）的能力。
SDI： Squared Distance To Identity 类恒等平方距离矩阵

u=g(k)f(x;W)+(1-g(k))x k是要学习的参数

定量分析这块没怎么看明白，不知道怎么回事有些参数的意义的都没介绍。。。

Experiment

试验结果见论文，这里不贴了。
作者只在mnist和cifar10上做了实验，并没有在cifar100和ImageNet上验证结构，效果也不知道咋样。