Training Very Deep Networks

这篇文章提出一种训练深层网络的训练结构-highway，主要的来源于LSTM中的阀门开关的思想。highway的提出使得可以使用梯度下降可以直接训练较深的卷积神经网络。

plain网络前向过程为：

其中H为非线性激活函数。对于highway网络来说在上述的基础上又引入了两个非线性变换T和C，则highway为：

其中T为transform gate，C为carry gate，T和C实际上是定义了最终的输出分别是由多少变换和输入构成。为了简单，可以另C=1-T：

使用就卷积进行表达为：

特殊情况为：

需要注意的是highway的定义方式要求H，T，x，y具有相同的维度。

plain网络于highway结构比较如下：

实验结果说明：plain网络要比highway难优化。