一种新的ResNet思路：Learning Identity Mapping with Residual Gates论文笔记

论文地址：Learning Identity Mappings with Residual Gates
本文地址：http://blog.csdn.net/wspba/article/details/72789964

前言

自从2015年ResNet在ImageNet比赛上火了之后，现在简直就是大红大紫啊，这两年关于ResNet的研究、基于ResNet网络的延伸、改进也越来越多，包括FractalNet、WideResNet、DenseNet等等，这几篇文章都会一一为大家介绍，今天要介绍的叫做Gated ResNet，它来自一篇发表在今年ICLR上的论文，它没有之前提到的几个网络复杂，它对ResNet所提出的Identity Mapping进行了更加细致的思靠，它认为Identity Mapping才是ResNet包括Highway Network的精髓，并提出了对于一个深层网络，如果它具有退化成Identity Mapping的能力，那么它一定是容易优化、并且具有很好性能的。

精髓：Identity Mapping

ResNet中所提出的Residual block之所以成功，原因有两点，第一，是它的shortcut connection增加了它的信息流动，第二，就是它认为对于一个堆叠的非线性层，那么它最优的情况就是让