残差网络:解决普通深度学习网络中深度到达一定程度时,导致的错误率升高的问题。
文中表示:使用残差网络结构的深度网络,能够获得比浅网络更低的错误率,并且不断加深网络的层数时,性能并没有退化。
plan A B C表示不同的增加维度方式:
Identity vs. Projection Shortcuts
比较了三种选择:
(A)zero-padding shortcuts用来增加维度(Residual block的维度小于输出维度时,使用0来进行填充),所有的shortcut无参数。
(B)projection shortcuts用来增加维度(维度不一致时使用),其他的shortcut都是恒等映射(identity)类型。
(C)所有的shortcut都是使用projection shortcuts。