有关resnet相关部分学习

一、resnet进步之处

resnet引入了残差网络,解决了模型层数增加时出现梯度消失或梯度爆炸的问题。

原文链接:原文链接

通俗进行理解就是在进行epoch迭代时,resnet中H(X)=X+F(x),但是当该轮学习效果并不是很好时,令f(x)=0即可,即该轮的学习效果并不进行累加。但是由于是相加的缘故,两者的张量大小必须相同。

在图像处理方面,常用的是采取卷积核为3,padding为1的两个卷积层处理,这样可以不改变张量形状。

BatchNorm2d进行数据的归一化处理,这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定

二、resnet结构

resnet网络中含有很多的的图1结构成为resnet block。其中resnet block的结构不止一种。常见的结构如下:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值