YOLO V4 ——tricks

主要是看了Bubbliiiing的视频，感觉和我年龄相仿，但是水平真的差了好多，以后的竞争对手如果都是这样的大神，真怕找不到工作啊。

我是从V4的几个trick来学习

https://www.cnblogs.com/pprp/p/12771430.html

Mosaic数据增强

增强方式很简单，就是将四张图片拼成一张图片。
优点：

改进SAM

以前的空间注意力都是用一个maxpooling和averapooling拼接在一起的得到的，这里使用的是直接用卷积得到的。
不知道为何这样做，好处是什么~

改进PAN

原来的PAN是不同层相加特征相加，这里改成了乘。
同样不知道为啥~

Label Smoothing

标签平滑，就是经过one-hot原来是正样本应该是1负样本应该是0，现在让正样本变得小一点，负样本大一点。

优点：
1)无法保证模型的泛化能力，容易造成过拟合。
2) 全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大，而由梯度有界可知，这种情况很难适应。会造成模型过于相信预测的类别。

余弦退火学习率

在传统的学习率的设定是，随着迭代次数的增大，所以模型逐渐找到局部最优点。这个过程中，因为一开始的学习率较大，模型不会踏入陡峭的局部最优点，而是快速往平坦的局部最优点移动。随着学习率逐渐减小，模型最终收敛到一个比较好的最优点。
余弦退火学习率模型会迅速踏入局部最优点（不管是否陡峭），并保存局部最优点的模型。保存模型后，学习率重新恢复到一个较大值，逃离当前的局部最优点，并寻找新的最优点。因为不同局部最优点的模型则存到较大的多样性，所以集合之后效果会更好。

CIOU

之前写过

MISH激活函数

这是NIKE公司提出的？
网上介绍优点有很多，我能看到的可能就是可以解决RELU的神经元死亡的问题吧。

DropBlock

传统的dropout丢弃一些神经元后，模型可能还会从它丢弃神经元的周围学到信息，所以dropclock就是一片一片的丢弃。