深度学习笔记(27):残差网络ResNet50简介

本文介绍了ResNet,一种解决深度学习中梯度消失问题的网络结构。ResNet通过引入skip连接,模拟人脑神经突触的工作方式,允许信息直接跨层传递,从而有效训练深层网络。文章还简要概述了ResNet50的具体实现,并提供了详细的参考资料链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

想要训练足够强大的神经网络,我们就需要搭建足够深度的网络,但是深的网络会不可避免地产生梯度爆炸或者梯度消失问题,使得训练缓慢亦或者根本见不到明显的下降。如下图
在这里插入图片描述
我们的Relu函数和Batchnorm等都在解决这种问题,使得更加深的神经网络的训练能够被实现。本次我们介绍另一种很有效的解决思路,ResNet。

什么是ResNet

CNN的核心组件是convolutional filter和pooling layer,其实ResNet也是CNN的一个衍生,加入了自己的核心组件用于skip。简单模拟图和公式如下。
在这里插入图片描述
在这里插入图片描述

我们可以看到相比较直接的神经网络,ResNet多了很多跳跃这个神经网络的步骤,这很有道理,因为我们人本身形成的突触也是直接跨越的,直接支配而不需要一定完全依赖层之间的关系。神经完全可以通过类似的退化一部分神经元,来使得自己不那么臃肿,使得效率得以提升。
在这里插入图片描述

ResNet50的具体实现

参加我的作业blog:
https://blog.csdn.net/weixin_43197820/article/details/105917121

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值