qq_40716944的博客

对于 Attention 中的多个端口来说，首先将这些端口分为一定的组，比如 24 个端口 6 组，那么每组的 4 个端口将共享同一种位置偏差，使用的预测维度即分配给这 4 个端口的维度，不同组预测的位置偏差将不一样。最后还会加上一个相对位置插入，正常情况下这个位置矩阵大小为 �(2�−1)×(2�−1) ，但是考虑到存在处于任意位置的偏差，这个位置矩阵依然会做一个连续的差值 (Relative Displacements) 真尴尬我不知道这个英文我理没理解对......

因此，在网络阶段4中，设置扩张率为1、3和5的扩张卷积的3个分支，而在阶段3中，放弃第三个分支以挤压感受野以避免有效计算。此外，由于卷积在更大的空间跨度上直接建立连接总是更困难，并且大跨度连接需要小跨度连接的帮助，因此在每个阶段，小的感受野总是很重要的。事实上，在第二步中，根据感受野的大小，可以在第一步中明智地学习所需的简明区域特征图，以反向匹配感受野。作者认为，确定合适的感受野大小对于提高特征提取的效率至关重要，并且在网络的不同阶段对感受野大小的要求是不同的。具体来说，所有特征图都是串联的。

基于卷积运算的神经网络在深度学习领域取得了令人瞩目的成果，但标准卷积运算存在两个固有的缺陷。一方面，卷积运算仅限于局部窗口，无法捕获其他位置的信息， 并且它的采样形状是固定的。另一方面，卷积核的大小固定为k×k，是一个固定的正方形，参数的数量往往随大小呈平方增长。很明显，不同数据集和不同位置的目标的形状和大小是不同的。

但是，。在论文中，作者对空间注意力的有效性提出了一个新的观点，即。然而，由空间注意力生成的注意力图中包含的信息。因此，，如卷积块注意力模块（CBAM）和协调注意力（CA），只关注空间特征，并没有完全解决卷积核参数共享的问题。由RFA开发的（RFAConv）。作者在ImageNet-1k、COCO和VOC数据集上进行了一系列实验，以证明他们的方法的优越性。特别重要的是，

拿到文章之后先看了一眼在ImageNet1k上的结果，确实很高，超越了同等大小下的VAN、RepLKNet、ConvNext等先进的大核注意力CNN模型，同时也超过了Swin、DeiT3、CoAtNet等ViT模型。回顾自从Vision Transformer被提出之后，通过大量数据训练出的ViT大模型刷新了许多视觉任务的记录，这得益于ViT的MHSA机制能够建模长距离依赖，具有相当低的归纳偏置，从而能够在海量数据中学习到强大鲁棒的特征表达。

本博客主要是参考YOLO-MS论文的创新点，在YOLOv5算法中引入MS-Block模块，利用不同尺度特征信息，以进一步提升目标检测效果。作者旨在为目标检测社区提供一种高效且性能卓越的目标检测器，称为YOLO-MS。核心设计基于一系列对不同Kernel-Size卷积如何影响不同尺度上目标检测性能的研究。研究结果是一种可以显著增强实时目标检测器多尺度特征表示的新策略。为了验证作者策略的有效性，作者构建了一个名为YOLO-MS的网络架构。

卷积神经网络(CNNs)在计算即使觉任务中如图像分类和目标检测等取得了显著的成功。然而，当图像分辨率较低或物体较小时，它们的性能会灾难性下降。这是由于现有CNN常见的设计体系结构中有缺陷，即使用卷积步长和/或池化层，这导致了细粒度信息的丢失和较低效的特征表示的学习。为此，我们提出了一个名为SPD-Conv的新的CNN构建块来代替每个卷积步长和每个池化层(因此完全消除了它们)。SPD-Conv由一个空间到深度(SPD)层和一个无卷积步长(Conv)层组成，可以应用于大多数CNN体系结构。

论文：Large Separable Kernel Attention: Rethinking theLarge Kernel Attention Design in CNN具有大内核注意力（LKA）模块的视觉注意力网络（VAN）已被证明在一系列基于视觉的任务中提供了卓越的性能，超过了视觉转换器（ViTs）。然而，随着卷积核大小的增加，这些LKA模块中的深度卷积层导致计算和内存占用的二次增加。为了缓解这些问题，并允许在VAN的注意模块中使用超大卷积核，我们提出了一个大的可分离核注意模块族，称为LSKA。LS

为了提升无人机视角下目标检测效果，基于YOLOv5算法，在YOLOv5主干中实现了Omnidimensional Convolution（ODConv），以在不增加网络宽度和深度的情况下提高精度，还在YOLOv5骨干网中用ConvNeXt块替换了原始的C3块，以加快检测速度。

本文主要参考YOLO-FaceV2这个文章，该文章为了解决人脸检测中小目标、遮挡等问题，在YOLOv5算法的基础提出了几点改进，且取得了比较不错的效果。

由于单独的Res2Net模块对于整体网络结构没有特定的要求，Res2Net模块的多尺度表示能力也和CNN的分层特征聚合模型彼此独立，所以可以很容易地将Res2Net模块集成到现有的其他优秀CNN模型中。模块内部的连接形式与残差网络（ResNet）类似，故命名为Res2Net。在本文中，研究人员在一个单个残差块内构造分层的残差类连接，为CNN提出了一种新的构建模块，即Res2Net——以更细粒度（granular level）表示多尺度特征，并增加每个网络层的感受野（receptive fields）范围。

YOLOv5算法中添加RepVGG模块，并通过实验验证改进后的算法模型效果

改进YOLOv5系列:全新改进用于微小目标检测的 Normalized Gaussian Wasserstein Distance

本文主要是在YOLOv5算法中加入SE、CBAM和CA注意力机制模块，通过实验验证对比，加入CBAM和CA注意力机制后的效果均有所提升

边界框回归（BBR）的损失函数对于目标检测至关重要。它的良好定义将为模型带来显著的性能改进。大多数现有的工作假设训练数据中的样本是高质量的，并侧重于增强BBR损失的拟合能力。如果盲目地加强低质量样本的BBR，这将危及本地化性能。Focal EIoU v1被提出来解决这个问题，但由于其静态聚焦机制（FM），非单调FM的潜力没有被充分利用。基于这一思想，作者提出了一种基于IoU的损失，该损失具有动态非单调FM，名为Wise IoU（WIoU）。

IoU 的全称为交并比（Intersection over Union），通过这个名称我们大概可以猜到 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。计算过程如下：其中，绿色面积代表预测框B与真实框A的交集；则显而易见，IOU的值越高也说明预测框与真实框重合程度越高，代表模型预测越准确，反之，IOU越低模型性能越差。