Highway Networks

       随着神经网络的发展，网络的深度逐渐加深（更深的层数以及更小的感受野，能够提高网络分类的准确性(Szegedy et al.,2014;Simonyan & Zisserman,2014)），网络的训练也就变得越来越困难。Highway Networks就是一种解决深层次网络训练困难的网络框架。

      以下这几篇文章证明了优化深层神经网络十分困难（写文章的时候肯定用得到，先记下）：（Glorot & Bengio,2010;Saxe et al.,2013;He et al.,2015，）   (Simonyan & Zisserman,2014; Romero et al., 2014）  （Szegedy et al.,2014; Lee et al., 2015）。

    Highway Networks：一种可学习的门限机制，在此机制下，一些信息流没有衰减的通过一些网络层，适用于SGD法。