qq_35608277的博客

其中的add属性很重要，决定了是否有shortcut，其实在yolov5的backbone中的Bottleneck都是有shortcut的，在head中的Bottleneck都没有shortcut。255是3×（80+5）,对应3个anchor， 80个类别，使用bce做二分类判断是否为当前类别，4个坐标预测，1个是判断是否为目标或者背景。先通过一个Conv，然后分别进行不同kernel的pooling，3个pooling和输入拼接，在通过一个Conv。拼接层，用于拼接之前的层，例如。

作用对象：BN层（和不重要的通道）作用方式： imposes sparsity-induced regularization on the scaling factors（比例因子）通过对批量归一化（BN）层中的缩放因子强加L1正则化将BN缩放因子的值逼近零，因为每个缩放因子对应于特定的卷积通道（或完全连接的层中的神经元），使得我们能够识别不重要的通道。这有助于在随后的步骤中进行通道层次的修剪。

https://github.com/jacobgil/pytorch-pruning剪枝之后的VGG准确率从98.7% 掉到97.5%.网络大小从 538 MB压缩到 150 MB.在i7 CPU上，对一张图的推断时间从 0.78 减少为 0.277 s，几乎是3倍加速。裁剪filter的依据是：用Taylor展开来近似pruning的优化问题。需要注意的是，裁剪某一层的filter后，下一层的weight也需要更新。...

1 摘要通过从网络中删除不重要的权重，可以有更好的泛化能力、需求更少的训练样本、更少的学习或分类时间。本文的基础思想是使用二阶导数将一个训练好的网络，删除一半甚至一半以上的权重，最终会和原来的网络性能一样好，甚至更好。最好的泛化能力是在训练误差和网络复杂度平衡的时候。2 介绍达到这种平衡的一种技术是最小化由两部分组成（原始的训练误差+网络复杂度的度量）的损失函数。复杂度评估方法包括VC维度，描述长度、还有一个历史悠久的方法是：自由参数中的非零参数数量，这个方法也是本文选用的方法。在很多统计推理的文

https://blog.csdn.net/jacke121/article/details/79450321

refhttps://blog.csdn.net/jacke121/article/details/94863687