qq_53545309的博客

v8开源一天已经吸引了600多star数，热度非凡，但我们还是需要看全面看待star fork等，一个代码库刚放出来的时候，配合上营销宣传，star肯定是暴涨的，但是放出来一段时间后，star数的增长趋于平稳，这个时候其实可以关注下star/fork 比，各大YOLO都还在继续保持着创新和更新，可以期待下yolov9 v10，不过不需要盲目就换模型，还是得大致了解下改进点和优劣势后再谨慎选择。总的来说，YOLOv8 是一个强大而灵活的目标检测和图像分割工具，提供了两个最好的功能：最新的SOTA技术；

IoU的计算公式为： IoU=交集面积并集面积IoU=并集面积交集面积​其中，交集面积是指预测框和真实框重叠的区域，而并集面积是指预测框和真实框覆盖的所有区域的总和。由于其聚焦机制是静态的，并未充分挖掘非单调聚焦机制的潜能。基于这个观点，我们提出了动态非单调的聚焦机制，设计了。动态非单调聚焦机制使用“离群度”替代 IoU 对锚框进行质量评估，并提供了明智的梯度增益分配策略。该策略在降低高质量锚框的竞争力的同时，也减小了低质量示例产生的有害梯度。

在将 Transformer 模型应用于视觉任务时，自我注意的二次计算复杂性一直是一个持续的挑战。另一方面，线性注意力通过精心设计的映射函数近似 Softmax 操作，通过其线性复杂性提供了一种更有效的替代方案。然而，当前的线性注意力方法要么性能显著下降，要么从 Map 函数中引入额外的计算开销。在本文中，我们提出了一种新的 Focused Linear Attention 模块，以实现高效率和表现力。具体来说，我们首先从两个角度分析了导致线性注意力性能下降的因素：聚焦能力和特征多样性。

由于内存和计算资源有限，在移动设备上部署卷积神经网络 （CNN） 很困难。我们的目标是通过利用特征图中的冗余，为 CPU 和 GPU 等异构设备设计高效的神经网络，这在神经架构设计中很少被研究。对于类 CPU 设备，我们提出了一种新颖的 CPU 高效 Ghost （C-Ghost） 模块，以从廉价操作中生成更多特征图。基于一组内在特征图，我们以较低的成本应用了一系列线性变换来生成许多幽灵特征图，这些图可以完全反映内在特征背后的信息。所提出的 C-Ghost 模块可以作为升级现有卷积神经网络的即插即用组件。

轻量级卷积神经网络 （CNN） 专为移动设备上的应用程序而设计，具有更快的推理速度。卷积运算只能捕获窗口区域中的局部信息，这会阻止性能进一步提高。将自我注意引入卷积可以很好地捕获全局信息，但会在很大程度上阻碍实际速度。在本文中，我们提出了一种硬件友好的注意力机制（称为 DFCattention），然后提出了一种用于移动应用程序的新 GhostNetV2 架构。所提出的 DFC 注意力是基于全连接层构建的，它不仅可以在通用硬件上快速执行，还可以捕获远程像素之间的依赖关系。

摘要—我们提出了一种硬件高效的卷积神经网络架构，它具有类似 repvgg 的架构。Flops 或参数是评估网络效率的传统指标，这些网络对硬件（包括计算能力和内存带宽）不敏感。因此，如何设计神经网络以有效利用硬件的计算能力和内存带宽是一个关键问题。基于该方法，我们设计了 EfficientRep 系列卷积网络，该网络对高计算硬件（例如 GPU）友好，并应用于 YOLOv6 目标检测框架。首先在ultralytics/nn文件夹下，创建一个efficientrep.py文件，新增以下代码。

在本报告中，我们提出了一种快速准确的对象检测方法，称为 DAMO-YOLO，它实现了比最先进的 YOLO 系列更高的性能。DAMO-YOLO 是从 YOLO 扩展而来的，具有一些新技术，包括神经架构搜索 （NAS）、高效的重新参数化广义 FPN （RepGFPN）、具有 AlignedOTA 标签分配的轻量级头和蒸馏增强。特别地，我们使用了 MAE-NAS，一种以最大熵原理为指导的方法，在低延迟和高性能的约束下搜索我们的检测骨干，生成具有空间金字塔池化和焦点模块的类 ResNet / CSP 结构。

Vision Transformers 由于具有很强的全局信息编码能力，是近年来视觉识别领域最流行的网络架构。但是，在处理高分辨率图像时，其高计算成本限制了下游任务中的应用。在本文中，我们深入研究了自我注意的内部结构，并提出了一种用于视觉识别的简单 Transformer 风格卷积神经网络 （ConvNet）。通过比较最近的 ConvNets 和 Vision Transformers 的设计原理，我们建议通过利用卷积调制操作来简化自我注意力。我们表明，这种简单的方法可以更好地利用大型内核 （≥7×7。

作为视觉转换器的核心构建块，衰减是捕获长距离依赖性的强大工具。然而，这种能力是有代价的：它会产生巨大的计算负担和沉重的内存占用，因为所有空间位置的成对标记交互都是计算的。一系列作品试图通过将手工制作和与内容无关的稀疏性引入 attention 来缓解这个问题，例如将 attention 操作限制在局部窗口、轴向条纹或扩张的窗口内。与这些方法相反，我们提出了一种通过双层路由的新型 dy namic 稀疏注意力，以实现具有内容感知的更灵活的计算分配。

在改进的架构和更好的表示学习框架的推动下，视觉识别领域在 2020 年代初期实现了快速的现代化和性能提升。例如，以 ConvNeXt [52] 为代表的现代 ConvNet 在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用 ImageNet 标签的监督学习而设计的，但它们也有可能受益于自我监督学习技术，例如掩码自动编码器 （MAE） [31]。然而，我们发现，简单地将这两个 ap proaches 结合起来会导致性能不佳。

基于卷积运算的神经网络已经在深度学习领域取得了显著的成果，但是标准卷积运算有两个固有缺陷。一方面，卷积运算被限制在局部窗口，无法从其他位置捕获信息，并且它的采样形状是固定的。另一方面，骗局的规模进化核固定为k × k，它是一个固定的正方形，参数的数量会随着规模的增大而增加。它很明显，目标的形状和大小是千差万别的不同的数据集和不同的位置。卷积核f固定的样品形状和正方形不能很好地适应变化目标。

RevCol由多个子网络组成，这些子网络被称为"列"，它们之间通过多级可逆连接相互连接。：在前向传播过程中，RevCol的每个列逐步学习解耦特征，同时保持了信息的完整性，而不是像传统网络那样压缩或丢弃信息。：RevCol模型在图像分类、目标检测和语义分割等多个计算机视觉任务上展现出了非常有竞争力的性能。：特别是在拥有大量参数预算和大型数据集的情况下，RevCol的性能更加突出。

这篇文章讨论了在现代卷积神经网络（CNN）设计中使用大卷积核的优势，并提出了一种新的CNN架构RepLKNet。：文章提出使用大卷积核（例如31×31）而不是传统的小卷积核（如3×3）可以提供更强大的特征提取能力。：这种设计思路受到了Vision Transformer（ViT）等最新进展的启发。：文章提出了五个设计指导方针，包括应用重新参数化、大深度卷积等，以设计出性能高效的大核CNN。：基于这些指导方针，提出了RepLKNet，这是一个纯CNN架构，其核心特点是使用31×31的大卷积核。

如果子进程输出的是二进制数据（例如，一些命令行工具的输出），而不是文本数据，那么尝试用UTF-8解码这些数据将会导致错误。这个错误通常发生在尝试将字节序列解码为字符串时，但字节序列中包含了无法用指定的编码（这里是UTF-8）解码的字节。这通常发生在尝试解码非UTF-8编码的数据时，例如二进制数据或者错误的编码格式。：在某些情况下，系统的默认编码可能不是UTF-8，或者Python环境配置有问题，导致无法正确解码。函数调用了某个命令行工具，而该工具的输出包含了非标准编码的字符，也可能导致这个问题。

当前许多工作采用多速率深度扩张卷积（multi-rate depth-wise dilated convolutions）来同时从单一输入特征图中捕获多尺度上下文信息，以提高特征提取效率。：这种设计可能导致难以获取多尺度上下文信息，因为其结构和超参数设置不合理。：为了降低获取多尺度上下文信息的难度，提出了一种高效的多尺度特征提取方法，该方法将原始的单步方法分解为“区域残差化”（RegionResidualization）和“语义残差化”（Semantic Residualization）两个步骤。

论文地址：2211.15444 (arxiv.org)DAMO-YOLO的介绍与性能：技术细节：模型规模与应用：轻量级模型：性能对比：首先在ultralytics/nn文件夹下，创建一个cretonext.py文件，新增以下代码YOLOv8 修改部分修改部分第一步：在文件中然后在 在中配置找到在这句上面加一个YOLOv8网络配置文件新增以下配置yaml文件yolov8_damoyolo.yaml

论文采取的方案网络设计实验部分。

为了通过重新参数化利用功能重用，本小节介绍 Ghost 模块如何演变为我们的 RepGhost 模块。如图3所示，我们从图3a中的 Ghost 模块开始，逐步调整内部组件。首先在ultralytics/nn/modules文件夹下，创建一个repghostnext.py文件，新增以下代码。原论文: https://arxiv.org/pdf/2211.06088.pdf。.py中导入 定义在repghostnext.py里面的模块。在ultralytics/nn/modules/

openpcdet训练自己的数据集

论文：github:在SMOKE算法之前，一般基于region_based的或者RPN结构，基于得到的，结合后序结构推理出3dbox。一般是多阶段的算法。SMOKE仅3d模块，基于key-point直接回归3d属性,基于解耦loss来训练。

本页提供有关MMDetection用法的基本教程。有关安装说明，请参阅。

文章目录1 简介1.1 数据采集平台1.2 坐标系2 数据解析2.1 image文件2.2 velodyne文件2.3 calib文件2.4 label文件3 KITTI可视化1 简介KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。

【代码】关于yolov5+deepsort目标追踪没有检测框的问题。

SMOKEPrefaceLiu, Z C, Wu Z Z, Tóth R. Smoke: Single-stage monocular 3d object detection via keypoint estimation[C]. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020: 996-997. 来自SMOKE官方源码中的示例（特定参数）：

YOLOv5是目前应用广泛的目标检测算法之一，其主要结构分为两个部分：骨干网络和检测头。输入（Input）: YOLOv5的输入是一张RGB图像，它可以具有不同的分辨率，但通常为416x416或512x512像素。这些图像被预处理和缩放为神经网络的输入大小。在训练过程中，可以使用数据增强技术对图像进行随机裁剪、缩放和翻转等操作，以增加数据的丰富性和多样性。Backbone（主干网络）: 主干网络负责提取图像的特征表示，它是整个目标检测算法的核心组件。YOLOv5采用了CSPDarknet作为主干网络。

YOLOv8 是 ultralytics 公司在 2023 年 1月 10 号开源的 YOLOv5 的下一个重大更新版本，目前支持图像分类、物体检测和实例分割任务，在还没有开源时就收到了用户的广泛关注。考虑到 YOLOv8 的优异性能，MMYOLO 也在第一时间组织了复现，由于时间仓促，目前 MMYOLO 的 Dev 分支已经支持了 YOLOv8 的模型推理以及通过 projects/easydepoly 支持部署，我们将尽快发布可训练版本，敬请期待！

毫无疑问，maskrcnn基准测试和mmdetection的存储效率比Detectron更高，主要优点是PyTorch本身。我们发现pytorch风格的ResNet通常比caffe风格的ResNet收敛慢，因此在1倍进度表中结果会略低，但2倍进度表的最终结果会更高。请注意，Caffe2和PyTorch具有不同的API，以通过不同的实现获取内存使用情况。我们使用AWS作为托管模型汇总的主要站点，并在阿里云上维护一面镜子。具有不同主干的更多模型将添加到模型汇总。显示的内存使用量都比上表中报告的数字大。

提出了一种基于深度学习的轻量级对象检测模型，可以在低端边缘设备上运行，同时仍然具有竞争力的准确性。由一个两阶段的特征学习管道和一个便宜的线性变换组成，它只使用传统卷积神经网络所需的一半卷积滤波器来学习特征映射。此外，它使用注意机制在颈部进行多尺度特征融合，而不是传统检测器使用的单纯连接。可以很容易地按几个数量级放大或缩小，以适应广泛的硬件限制。我们在COCO-val和COCO-testdev数据集上与其他10多个最先进的目标检测器一起评估。

本文提出一种概念简单且非常有效的注意力模块。不同于现有的通道/空域注意力模块，该模块无需额外参数为特征图推导出3D注意力权值。具体来说，基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性。进一步针对该能量函数推导出一种快速解析解并表明：该解析解仅需不超过10行代码即可实现。该模块的另一个优势在于：大部分操作均基于所定义的能量函数选择，避免了过多的结构调整。最后在不同的任务上对所提注意力模块的有效性、灵活性进行验证。

ECCV2020 | FReLU：旷视提出一种新的激活函数，实现像素级空间信息建模该作者提出了一种用于图像识别任务的简单但有效的激活函数，称为Funnel 激活函数（FReLU），它通过增加可忽略的空间条件开销将ReLU和PReLU扩展为2D激活函数。主要的创新点：在激活函数阶段实现像素级的空间信息建模能力，能够用于目标检测、语义分割等目标识别任务，简单又高效！对ImageNet数据集、COCO数据集检测任务和语义分割任务进行了实验，展示了FReLU激活函数在视觉识别任务中的巨大改进和鲁棒性。

论文：摘要：遥感图像目标检测(RSIs)经常面临一些日益严峻的挑战，包括目标尺度的巨大变化和不同的测距环境。先前的方法试图通过大核卷积或扩展卷积来扩展主干的空间感受野来解决这些挑战。然而，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。在本文中，我们引入聚核初始网络(Poly Kernel Inception Network ，PKINet)来解决上述挑战。PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。

基于卷积运算的神经网络在深度学习领域取得了令人瞩目的成果，但标准卷积运算存在两个固有的缺陷。一方面，卷积运算仅限于局部窗口，无法捕获其他位置的信息， 并且它的采样形状是固定的。另一方面，卷积核的大小固定为k×k，是一个固定的正方形，参数的数量往往随大小呈平方增长。很明显，不同数据集和不同位置的目标的形状和大小是不同的。

摘要：边界盒回归损失作为检测器定位分支的重要组成部分，在目标检测任务中起着重要的作用。现有的边界盒回归方法通常考虑GT盒与预测盒之间的几何关系，利用边界盒的相对位置和形状来计算损失，而忽略了边界盒的形状和规模等固有属性对边界盒回归的影响。为了弥补已有研究的不足，本文提出了一种关注边界盒本身形状和尺度的边界盒回归方法。首先，我们分析了边界框的回归特征，发现边界框本身的形状和尺度因素都会对回归结果产生影响。基于以上结论，我们提出了Shape IoU方法，该方法可以通过关注边界框本身的形状和尺度来计算损失。

不同网络架构随机初始化权重输出特征图的可视化结果：(a) 输入图像，(b) PlainNet，(.c) ResNet，(d) CSPNet，以及(e) 提出的GELAN。从图中我们可以看出，在不同的架构中，提供给目标函数以计算损失的信息不同程度地丢失了，而我们的架构能够保留最完整的信息，并为计算目标函数提供最可靠的梯度信息。终于来到了关键的点，这几天我也刷到了一些给我推送的文章，大家有些地方可能没注意到，并不是代码写错了，是大家用错了，同样的，训练分了多个脚本，推理脚本也是分开的，下面就来带大家跑一下。

血管、道路等拓扑管状结构的精确分割在各个领域都至关重要，确保下游任务的准确性和效率。然而，许多因素使任务变得复杂，包括薄的局部结构和可变的全局形态。在这项工作中，我们注意到管状结构的特殊性，并利用这些知识来指导我们的 DSCNet 在三个阶段同时增强感知：特征提取、特征融合、 和损失约束。首先，我们提出了一种动态蛇卷积，通过自适应地关注细长和曲折的局部结构来准确捕获管状结构的特征。随后，我们提出了一种多视图特征融合策略，以补充特征融合过程中多角度对特征的关注，确保保留来自不同全局形态的重要信息。

添加方法灵活多变，Backbone或者Neck都可。加入SOCA moudle模块。

摘要：如今的深度学习方法重点关注如何设计最合适的目标函数，从而使得模型的预测结果能够最接近真实情况。同时，必须设计一个适当的架构，可以帮助获取足够的信息进行预测。然而，现有方法忽略了一个事实，即当输入数据经过逐层特征提取和空间变换时，大量信息将会丢失。因此，YOLOv9 深入研究了数据通过深度网络传输时数据丢失的重要问题，即信息瓶颈和可逆函数。作者提出了可编程梯度信息（programmable gradient information，PGI）的概念，来应对深度网络实现多个目标所需要的各种变化。

涨点效果：在我自己的数据集上，mAP50 由0.986涨到了0.993，mAP50-95由0.737涨到0.77，涨点明显！DCNv4是可变形卷积的第四版，速度和v3相比有了大幅度的提升，但是环境搭建有一定的难度，对新手不太友好。如果在使用过程遇到编译的问题，请严格按照我写的环境配置。

它可以捕捉特定位置的空间关系，并在注意力计算中加以利用。与常规的注意力机制不同，CoordAttention在计算注意力时，不仅会考虑输入的特征信息，还会考虑每个像素点的位置信息，从而更好地捕捉空间上的局部关系和全局关系。新加坡国立大学的Qibin Hou等人提出了一种为轻量级网络设计的新的注意力机制，该机制将位置信息嵌入到了通道注意力中，称为coordinate attention（简称CoordAttention，下文也称CA），该论文已被CVPR2021收录。

直接上YOLOv8的结构图吧，小伙伴们可以直接和YOLOv5进行对比，看看能找到或者猜到有什么不同的地方？下面就直接揭晓答案吧，具体改进如下：Backbone：使用的依旧是CSP的思想，不过YOLOv5中的C3模块被替换成了C2f模块，实现了进一步的轻量化，同时YOLOv8依旧使用了YOLOv5等架构中使用的SPPF模块；PAN-FPN。