【Learning Notes】作为 Ensemble 模型的 Residual Network

本文介绍了Residual Networks如何通过skip connections行为像指数级浅层网络的ensemble,挑战了深度网络的常规理解。研究发现,ResNet在层的移除或重组后仍能保持性能,这支持了ResNet实际上训练了多个较浅的网络的观点。此外,文中还探讨了ResNet中短路径的重要性以及其在梯度反传问题上的表现。
摘要由CSDN通过智能技术生成

Andreas Veit et al. Residual Networks Behave Like Ensembles of Relatively Shallow Networks. NIPS’16.

Residual Network (ResNet) 在图像、语音任务上都取得了巨大的成功,是继 ReLU, Dropout, Batch Normalization 后,深度学习上又一个 milestone。一般认为,ResNet 通过引入 skip connect,解决了网络层数变深后的梯度反传的问题,从而使得训练非常深的网络成为可能。而深层网络比浅层网络有更好的性能则是一个 well-known 的结论。

Veit 等的文章却提出了对 ResNet 的一种非常不同的解释。作者认为:
1. ResNet的优良性能,并不来自于层数深,而是由于ResNet是指数多(相对于层数)的浅层(相对物理层数)网络的ensemble模型。
2. ResNet 也并没有解决深层网络情况下的梯度反传问题,而是回避的这一问题——ResNet 只是训练了一系列浅层模型,而 ensemble 中的深层模型并没并良好的训练,只不过是这部分模型数量少,并没有影响 ResNet 的整体性能。

为支持以上观点,文章中进行了一系列 lesion study(破坏网络结构)。

1. 相关工作

Residual networks

简单而言,ResNet引入skip connect (Fig1(a))。因此,常规网络中输出

f(yi1)
,在这一框架下变成了上一层的残差(residual)。

yi=
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值