Sciws的博客

当然网络也需要更强大的训练方式，借鉴知识蒸馏的思想，使用一个R-CNN作为Teacher指导网络的训练，因为这个网络可以预测有效的提议框的类别即只受到框里面内容的影响而不会受到框外区域的干扰，DCNv2在ROI层之后的特征趋向于模仿R-CNN的特征，如此一来，DCNv2就增强了自己可变形采样的能力。因为可变形卷积的特殊能力，论文大胆地(╮(︶﹏︶")╭)提出使用更多的可变形卷积层进一步增强整个网络对于几何形变的建模能力。有无可变形卷积/RoI池化和多层可变形卷积(输入图像的短边1000和800)

代码：暂无卷积神经网络（CNNs）在局部空间模式识别方面表现出色。对于许多视觉任务，如物体识别和分割，显著信息也存在于CNN核边界之外。然而，由于CNN的受限制的感受野，它们在捕获这种相关信息时感到力不从心。自注意力机制可以提高模型获取全局信息的能力，但同时也增加了计算开销。作者提出了一种快速简单的全卷积方法DAS，它有助于将注意力集中在相关信息上。该方法使用了可变形卷积来表示相关图像区域的位置，并使用了可分离卷积来实现效率。DAS可以插入到现有的CNN中，并使用通道注意力机制传播相关信息。

神经网络在图像分类、检测和分割等各种计算机视觉任务中经历了快速发展。尽管其令人印象深刻的性能为许多应用程序提供了动力，但一个巨大的趋势是追求具有低延迟和高吞吐量的快速神经网络，以获得良好的用户体验、即时响应和安全原因等。如何快速？研究人员和从业者不需要更昂贵的计算设备，而是倾向于设计具有成本效益的快速神经网络，降低计算复杂度，主要以浮点运算（FLOPs）的数量来衡量。MobileNet、ShuffleNet和GhostNet等利用深度卷积（DWConv）和/或组卷积（GConv）来提取空间特征。

众所周知，相比于CNNs的一大核心优势便是借助自注意力机制的优势捕捉长距离上下文依赖。内存占用大计算代价高, e.g.,and;, e.g.,;让我们先简单的看下上图：其中图(a)是原始的注意力实现，其直接在全局范围内操作，导致高计算复杂性和大量内存占用；而对于图(b)-(d)，这些方法通过引入具有不同手工模式的稀疏注意力来减轻复杂性，例如局部窗口、轴向条纹和扩张窗口等；而图(e)则是基于可变形注意力通过不规则网格来实现图像自适应稀疏性；

xtcocotools库通常用来评估coco数据集，它的作用和pycocotools作用等价，常用在人体姿态估计（关键点检测）中。如果直接使用pip install xtcocotools安装该库的话会默认安装最新版本1.12的，在评估指标时就会报上述错。解决办法二：使用pycocotools库代替。使用下面指令将版本降低到1.11.5。只需要将框起来的代码注释互换即可。解决办法一：降低版本。

不是直接在train.py设置weight参数为训练好的权重（last.pt），然后设置epoch为500，这样不行，因为学习率等超参数启动时还是按照默认的。训练完原有epoch后，但还继续训练，比如设置epoch为300，已经训练完了，但是没有完全收敛，想使用训练了300 epoch的权重继续训练200个epoch， 总共就是500个epoch。训练就会从第300个epoch的基础上进行继续训练到500个epoch，和直接设置epoch为500一样。添加一行代码：ckpt[‘epoch’] = 300。

我们观察到，由于不同身体部位的生物约束，人类姿态表现出很强的群体结构相关性和关键点之间的空间耦合。这种群体结构相关性可以提高人体姿态估计的准确性和鲁棒性。在这项工作中，我们开发了一个自约束的预测-验证网络来表征和学习在训练过程中关键点之间的结构相关性。在推理（测试验证）阶段，来自验证网络的反馈信息允许我们对姿态预测进行进一步的优化，这显著提高了人体姿态估计的性能。具体来说，我们根据人体的生物结构将这些关键点划分为若干组。在每一组中，关键点被进一步划分为两个子集，高置信度基础关键点和低置信度终端关键点。

早期的关键点检测方法通常是直接回归关键点的位置，后来变成了主流的通过预测关键点热图去预测，它隐式地学习身体各部位之间的空间依赖关系。然而，大多数之前的研究都将深度CNN作为一个强大的黑盒预测器，并专注于改善网络结构，模型内部到底发生了什么，或者它们如何捕捉身体部位之间的空间关系，目前还不清楚。然而，从科学和实践的角度来看，模型的可解释性可以帮助从业者理解模型如何将结构变量关联起来以达到最终的预测，以及姿态估计器如何处理各种输入图像。它还可以帮助模型开发人员进行调试、决策和进一步改进设计。

这篇论文中主要研究人的姿态问题，着重于输出可靠的高分辨率表征。现有的大多数方法都是从高分辨率到低分辨率网络(high-to-low resolution network)产生的低分辨率表征中恢复高分辨率表征。相反，这篇文章提出的网络能在整个过程中都保持高分辨率的表征。模型从高分辨率子网络(high-resolution subnetwork)作为第一阶段开始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接。

这篇文章介绍了YoLoPose，一种新颖的无热力图的方法，基于流行的YOLO目标检测框架，用于单张图片中的关节检测与2D多人姿态估计。当前，基于热力图的方法是两个阶段，这个方法并不是最优的，因为他们不是端到端训练的，并且训练依赖于一种L1损失，即目标关键点相似度（object keypoint similarity，OKS），这不是等同于最大化评估指标的。该文章框架是一种端到端地训练模型，并优化OKS指标本身。

本文提出了高分辨率变压器（HRFomer），一个简单而有效的transformer架构，用于密集的预测任务，包括姿态估计和语义分割。关键的观点是将HRFromer块集成，它将局部窗口自注意和包括深度卷积的FFN相结合提高了内存和计算效率，并且结合了HRNet的多分辨率并行设计。此外，HRFormer还受益于在早期阶段中使用卷积，并将短范围和长范围的attention注意力与多尺度融合方案相结合。实验验证了该算法在姿态估计和语义分割任务上的有效性

在本文提出了用于多人姿态估计的人内和人际关系网络（I^2R-Net）。它涉及到两个基本的模块。首先，人内关系模块针对一个人进行操作，旨在捕获人内的依赖关系。其次，人际关系模块考虑了多个实例之间的关系，并专注于捕获人间交互。通过降低特征图的分辨率，人际关系模块可以设计得非常轻量级，但也可以学习有用的关系信息，以显著提高人内关系模块的性能。

结构重参化在各种计算机视觉任务中引起了越来越多的关注。它的目的是提高深度模型的性能，而不引入任何推理时间成本。虽然这种模型在推理过程中很有效，但它严重依赖于复杂的来实现较高的准确性，从而导致了巨大的额外训练成本。在本文中提出了在线卷积重参化(OREPA)，一个两阶段的pipeline，旨在通过将复杂的压缩成单个卷积来减少巨大的训练开销。为了实现这一目标，本文引入了一个线性缩放层，以更好地优化在线块。在降低训练成本的帮助下，作者还探索了一些更有效的重参组件。

Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。

提出了递归门控卷积(gnConv)，它通过门控卷积和递归设计来执行高阶空间交互，具有高度的灵活性和可定制性，兼容各种卷积变量，并将自注意的两阶交互扩展到任意阶，而不引入显著的额外计算。gnConv可以作为一个即插即用的模块，以改进各种视觉Transformer和基于卷积的模型。在此基础上构建了一个新的通用视觉骨干家族，名为HorNet。......

执行完代码后会在根目录生成如下文件，images中存放的是leftImg8bit中的图片，后面我们需要将其删除，替换为leftImg8bit_foggy的图片。因为foggy版本是在原版本的每一张图上扩充为三倍的，所以转换后的xml文件是原来的三倍，且xml文件名也转化为对应foggy图片的名字。因为test没有对应标签，我们只用到了原数据集中的train和val文件夹下的图片，所以我们只需要拷贝这两个文件夹下的图片即可。cityscapes的一张原图对应到foggy_cityscapes中有3张图，...

在修改yolov7的模型配置文件cfg时出现了‘gbk’ Unicode解码错误，这里是我们读取文件时出现了解码错误。点击箭头所指找到报错源头。

本文VOC数据集(xml)标注格式转换为YOLOv5、v7(txt)和COCO2017(json)格式

将本地VOC数据集（自己数据集同理）转化为适合yolo系列网络训练的数据集格式

在模块依赖中选择添加，找到idea安装目录下lib文件夹找到Junit4的jar包引入即可。输入@Test一直没有引入Junit的提示，就一直报错也无法使用。此时需要手动导入Junit4的jar包。