Hightway Networks学习笔记

背景

神经网络的深度是成功与否的重要因素，理论上来说，深层网络的表现要比浅层的好得多。然而，当深度的不断加深，训练也变得更加困难。

文章提出了一种新颖的结构，可以对任意深度的网络进行优化。这是通过一种控制穿过神经网络的信息流的闸门机制所实现的。通过这种机制，神经网络可以提供通路，让信息穿过后却没有损失。我们将这种通路称为information highways。

Highway Networks

朴素卷积神经网络由L个层构成，用H将输入x，转换为输出y，忽略下标和截距

对于highway network，添加了两个非线性转换

式中，前一项表示输入信息被转换的部分，