YOLOv5 加入 swin-transformer

 1.简介

论文地址：https://arxiv.org/pdf/2111.09883.pdf

作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。在很多方面达到了SOTA。

目前，视觉模型尚未像NLP语言模型那样被广泛探索，部分原因是训练和应用中的以下差异:

（1）视觉模型通常在规模上面临不稳定性问题；

（2）许多下游视觉任务需要高分辨率图像，如何有效地将低分辨率预训练的模型转换为高分辨率模型尚未被有效探索,也就是跨窗口分辨率迁移模型时性能下降。

（3）当图像分辨率较高时，GPU显存消耗也是一个问题。

解决思路：
为了解决这些问题，作者提出了几种技术，并在本文中以Swin Transformer进行了说明：

（1）提高大