yolov7创新点

本文介绍了深度学习模型的优化技术,包括扩展高效层聚合网络E-ELAN,该技术通过双倍计算块深度实现模型缩放而不增加宽度。还探讨了重参数化残差结构,它在训练中提高精度,推断时加速。此外,提出了损失融合策略,通过辅助头与引导头的联合训练优化模型。这些创新点旨在提升模型性能并降低计算成本。
摘要由CSDN通过智能技术生成

创新点一:扩展高效层聚合网络E-ELAN和复合模型缩

在这里插入图片描述
中间这个图其实卷积和silu中间还有一个bn层。右边64是输出通道数,1是卷积核大小,1是步长。
在这里插入图片描述
v7提出e-elan,其实e-elan就是两个elan。

模型缩放

在这里插入图片描述
从(a)到(b),我们观察到,当对基于级联的模型执行深度缩放时,计算块的输出宽度也会增加。这种现象将导致后续传输层的输入宽度增加。因此,我们提出(c),即在基于级联的模型上执行模型缩放时,只需要缩放计算块中的深度,并且传输层的剩余部分使用相应的宽度缩放。 就能使宽度不变了(大致这个道理)。

重参数化网络

在这里插入图片描述
从最左边的图可以看到,残差结构有2种,中间的就是重参数化的残差结构,可以看到每个残差结构只跨过一个3x3的卷积,并且有点时候两种残差结构一起融合使用,但是推断阶段就没有残差结构了,这样使训练精度更高,使推断的速度更快。
在这里插入图片描述
参数融合,就是说3x3卷积核1x1卷积和啥也不做这3个可以融合为一个3X3卷积。
在这里插入图片描述
左边和右边都是啥也不做的情况,就是identity一路。然后比如原道路有一个普通的3x3卷积,那么把这个普通的3x3卷积和上面这个图的右边的这个卷积逐个相加,就能达到参数融合了。就得到了下面这个图的最右边的效果。达到重参数化。
在这里插入图片描述
在这里插入图片描述
这个repconv就是重参数化卷积。作者发现重参数化的卷积加上残差反而不好(d图),

创新点3 标签匹配

在这里插入图片描述
a图是普通的金字塔模型,v7中引入了b结构,加入了辅助头,c图可以看到,同时计算引导头和辅助头的loss,d图看到,在引导头的分配器会辅助计算辅助头的loss,之后同时针对引导头的loss和辅助头的loss进行梯度下降优化。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值