resnet 残差网络 快速熟悉

本文介绍了ResNet残差网络,重点讨论了它为解决深度学习中梯度弥散和退化问题的设计思路。通过引入残差块,ResNet允许信息直接传递,避免了深层网络中的梯度消失,从而实现更深层次的网络训练。虽然并未完全解决梯度问题,但ResNet展示了网络自我调整的能力,为深度学习带来了新的视角。
摘要由CSDN通过智能技术生成

首先,推荐个油管的视频。中文解说,大家关注一波这个小哥哥哈,讲的很清楚。很直观。虽然是用我的解释,但是ppt是这个小哥的。

梯度爆炸,需要你理解什么是链式求导。ps,百度百科整的太复杂了,对我们来说没用的。

resnet网络结构:

最大的特点就是右边那个箭头。那么接下来我们就主要说下,resnet为解决什么问题,怎么解决的。

之后:

网络层数过深导致的梯度弥散:

自己推一下哈。其实就是过一遍脑子我感觉没啥补充。

所以结论就是层数深固然会带来高层次的语义信息,同时也会梯度弥散。

退化问题

左边是训练好的层数少的网

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值