qihshe的博客

本文介绍了一种新的对象检测器——DetectoRS，通过在骨干网络设计中引入递归特征金字塔和可切换的空洞卷积机制，实现了出色的性能提升。在宏观层面，递归特征金字塔将额外的反馈连接添加到底部向上传播的骨干层中；在微观层面，可切换的空洞卷积通过不同的空洞率对特征进行卷积，并使用开关函数收集结果。实验结果显示，在COCO测试集中，DetectoRS取得了最先进的55.7%的边界框AP、48.5%的实例分割AP和50.0%的全景分割PQ。

精确检测遥感图像中的小目标非常困难，因为这类目标视觉信息有限且在场景中频繁出现。此外，手动标注这些小目标不仅费时费力，还容易出错，即产生标签噪声。当使用带有噪声标签的训练集训练检测器时，网络往往倾向于过度拟合错误标签，导致性能不佳。为了解决这一问题，作者提出了DeNoising Tiny Object Detector（DN-TOD）。该方法包含两个关键组成部分：Class-aware Label Correction（CLC）和Trend-guided Learning Strategy（TLS）。

作者指出IoU损失在理论上有能力精确描述边界框回归状态，但在实践中，它不能自适应地匹配不同的检测器和检测任务，导致泛化能力较弱。为了解决这个问题，作者首先分析了BBR模型，发现区分不同回归样本并通过不同规模的辅助边界框来计算损失可以有效地加速回归过程。对于高IoU的样本，使用较小的辅助边界框来计算损失可以加快收敛，而低IoU的样本则更适合使用较大尺寸的辅助边界框。基于此Inner-IoU应运而生，它通过辅助边界框来计算IoU损失。

本文中，作者指出在用小型训练集加速网络的情况下，是一种根本优越的方法。它具有较高的加速比，在少样本设置下具有较好的延迟精度性能。为了选择放弃哪些块，作者提出了一个新的概念，即可恢复性来衡量恢复受压网络的难度。最后，作者提出了一种名为PRACTICE的算法来加速只使用少量训练图像集的网络。在ImageNet-1k上平均高出7%的Top-1精度，减少22%的延迟。此外还具有很高的泛化能力，在无数据或域外数据设置下也能很好地工作。

对于大小有限的实例，先验和目标区域之间的低重叠会导致优化的样本池受限，而判别信息的缺乏又进一步加剧了识别的难度。（低重叠导致正样本不足且判别信息匮乏）。为了缓解上述问题，作者提出了CFINet，一种基于Coarse-to-fine pipeline和特征模仿学习的两阶段小目标检测框架。首先呢，作者引入Coarse-to-fine RPN (CRPN)，通过动态锚点选择策略和级联回归来保证小目标有足够的高质量候选框。

检测任意方向的微小目标给现有的检测器带来了巨大的挑战，特别是在标签分配方面。定向微小目标的极端几何形状和有限特征仍然会导致严重的不匹配和不平衡问题。具体而言，位置先验、正样本特征和实例不匹配，并且由于缺乏适当的特征监督，极端形状目标的学习存在偏差和不平衡，即特征先验不匹配和正样本不平衡是阻碍定向微小目标标签分配的两个障碍。（此前作者提出的RFLA一定程度上解决了问题，但静态分配不能根据样本的形状自适应划分正负样本，不能过滤掉低质量样本。

在本文中，作者指出对于微小目标来说，无论是基于锚的盒先验检测器还是无锚的点先验检测器都是次优的。作者主要观察到现在的基于锚或无锚的标签分配范式会产生许多离群的微小真值样本，导致呢检测器对微小目标的关注减少。为此，作者提出了一个基于高斯接受野的标签分配策略用于微小目标检测。

解决了小目标训练样本不足质量低以及判别信息匮乏的问题提出CFINet引入了由粗到精的区域提议网络（CRPN）解决训练样本不足质量低的问题添加了特征模仿FI分支，并设计了一个损失函数对其进行优化，提升模型对小目标的识别能力和表示效果。

定向微小目标的极端几何形状和有限特征仍然会导致严重的不匹配和不平衡问题。具体而言，位置先验、正样本特征和实例不匹配，并且由于缺乏适当的特征监督，极端形状对象的学习存在偏差和不平衡。即特征先验不匹配和正样本不平衡是阻碍定向微小目标标签分配的两个障碍。作者提出了一个动态先验和由粗到精的分配器DCFL。一方面，以动态方式对先验、标签分配和对象表示进行建模，以减轻不匹配问题。另一方面，利用粗糙的先验匹配和更精细的后验约束来动态地标记标签，为不同的实例提供适当和相对平衡的监督。

作者发现现有的基于锚点和无锚点的探测器在微小目标标签分配中存在尺度-样本不平衡问题，提出了一种基于高斯接受场的标签分配(RFLA)策略用于微小目标检测。具体来讲呢，就是解决了 1. 基于IoU或中心先验过度依赖于重叠的问题 2. 均匀分布的先验和高斯分布的接受野之间的差距将导致gt与分配给它的特征点的接受野之间的不匹配问题在此基础上呢，作者发现由于IoU和RFD不在同一维度，将新的度量直接应用于现有的基于阈值的标签分配结构是不合理的，因此进一步设计了一个分层标签分配器(HLA)，逐步减少

提出了一种用于图像分类的神经网络训练的新方法，动态地减少输入数据（Data Step、Data Increment、Data Cut）

我们提出了DINO(带改进去噪锚盒的DETR)，一种最先进的端到端目标检测器。DINO通过使用对比方法进行去噪训练，使用混合查询选择方法进行锚点初始化，使用向前看两次方案进行框预测，在性能和效率上都比以前的类der模型有所提高

在本文中，作者通过利用静态摄像机记录的视频序列中可用的时间上下文，解决了实时监控应用中微小物体检测的问题。作者**提出了一个基于YOLOv5的时空深度学习模型**，该模型通过一次处理帧序列来利用时间上下文。此外，提出了一种使用帧差作为显式运动信息的双流架构，进一步提高了对大小为4 × 4像素的运动物体的检测

先指出虽然通用目标检测取得了显著成功，但小目标检测的性能和效率并不能令人满意。与现有的平衡推理速度和（SOD）性能之间的权衡不同，作者提出了一种新的尺度感知知识蒸馏(ScaleKD)，它将复杂的教师模型中的知识转移到紧凑的学生模型中。1)尺度解耦的特征蒸馏模块：将教师的特征表示分解成多尺度嵌入，从而可以在小目标上对学生模型进行显式特征模拟。2)提出了一种跨尺度的辅助方法来改进有噪声和无信息的边界框预测学生模型，因为这些边界框会误导学生模型，影响知识蒸馏的效果。

进一步定义了一个函数Tₛ₂(Tₛ₁(x,c),c’)，它从在尺度s₁下、位置c={i,j}的块Tₛ₁(x,c)中–>再在尺度s₂下的视图V(x,s₂)的位置c’={i’,j’}处提取一个大小为h₂×w₂的子块。至于内层的求和，它是针对那些不是当前正在评估的c’'的所有c来进行的。这个映射函数Tₛ₂(Tₛ₁(x,c),c’)与Tₛ₁(x,c)的定义类似，但返回的是尺寸为h₂×w₂而非h₁×w₁的子块 ，并且满足h₂ < h₁, w₂ < w₁以及h₂,w2 > 1/s₂的条件。

计算机视觉越来越多的应用，特别是在医学成像和遥感领域，当目标是对超大图像里的微小目标进行分类时，变得具有挑战性。

从SIFT和视觉词袋到卷积神经网络(cnn)，图像表示几乎是任何图像理解系统的关键组成部分。然而，我们对它们的了解仍然有限。在本文中，我们通过提出以下问题对表征中包含的视觉信息进行直接分析:给定图像的编码，在多大程度上可以重构图像本身?为了回答这个问题，我们提出了一个纵向表示的一般框架。我们表明，这种方法可以比最近的替代方法更准确地反演HOG和SIFT等表示，同时也适用于cnn。然后，我们第一次使用这种技术来研究最新的CNN图像表示的逆。

针对基于锚点的人脸检测方法随着目标变小而性能急剧下降的问题，提出一种尺度均衡的人脸检测框架，该框架具有广泛的锚关联层和一系列合理的锚尺度，可以很好地处理不同尺度的人脸。•提出一种尺度补偿锚匹配策略，提高小人脸的召回率。•引入max-out背景标签，降低小人脸的高误报率。

作者比较了FCOS和RetinaNet，发现它们之间主要有三个区别：(1)每个位置平铺锚的数量。RetinaNet在每个位置平铺几个锚盒，而FCOS在每个位置平铺一个锚点。(2)正、负样本的定义。RetinaNet采用IoU，而FCOS则利用空间和尺度约束来选择样本。(3)回归开始状态。RetinaNet从预设锚点回归目标边界框，而FCOS从锚点定位目标。经过实验发现如果在训练过程中采用相同的正样本和负样本定义，无论是基于锚和无锚检测器，最终的表现都没有明显的差异。

表明基于锚点和无锚点检测器之间的本质区别实际上是如何定义良好的正训练样本和负训练样本。•提出了一种自适应训练样本选择方法，根据目标的统计特征自动选择正训练样本和负训练样本。•证明在图像上的每个位置平铺多个锚点来检测物体是无用的操作

给出了简化图像的方法：给定图像，我们创建边缘和区域的分割，并迭代地从图像中删除片段。在每次迭代中，我们移除正确分类分数下降最小的部分，直到图像被错误分类。最后，我们得到原始图像的表示，它包含了网络正确识别场景类别所需的最少量的信息给出了感受野的实证研究，实际尺寸比理论尺寸小得多（尤其是后面层）

引入了有效接受野的概念，并证明它具有高斯分布，并且只占整个理论接受野的一小部分。我们分析了几种结构设计的有效接受场，以及非线性激活、dropout、子采样和跳过连接对其的影响

当前基于锚点或无锚点的标签分配范式将产生许多异常的微小的地面真值样本，导致检测器对微小物体的关注减少。为此，我们提出了一种基于高斯接受场的标签分配(RFLA)策略用于微小目标检测

UNet的收缩路径（左侧）进行特征提取，并且随着网络层次的加深，感受野也会逐渐扩大，分辨率低、语义强获取的是图像整体性的特征，而浅层网络呢（分辨率高、语义弱）获取的是细粒度特征。右侧进行反卷积上采样，但因为卷积进行的下采样会导致部分边缘信息的丢失，失去的特征并不能从上采样中找回，因此作者采用了特征拼接操作来弥补，后续FPN貌似是延用了这一思想，通过横向连接将低分辨率语义强的特征和高分辨率语义弱的特征结合起来

小目标检测(SOD)在现实世界的许多应用中都很重要，包括刑事调查、自动驾驶和遥感图像。SOD由于其低分辨率和噪声表示一直是计算机视觉中最具挑战性的任务之一。随着深度学习的发展，人们引入深度学习来提高超SOD的性能。本文针对SOD的难点，从提高输入特征分辨率、尺度感知训练、融合上下文信息和数据增强四个方面对基于深度学习的SOD研究论文进行了分析。我们还回顾了关于SOD关键任务的文献，包括小人脸检测、小行人检测和航空图像目标检测。

调查了为什么一阶段检测器精度不如两阶段检测器。发现，在密集检测器训练过程中遇到的极端前景-背景类不平衡是主要原因，因此提出了著名的焦点损失

本文提出了一种由三个子部分组成的TOD- CMLNN(微小目标检测竞争多层神经网络)体系结构，该结构由第一个子部分竞争多层网络、第二个子部分TOD辅助和第三个子部分多层次连续特征聚合组成，用于精确检测微小目标。目标检测的竞争学习是该体系结构的基础。

我们提出了一种将目标检测视为直接集预测问题的新方法。我们的方法简化了检测管道，有效地消除了许多手工设计的组件，如非最大抑制过程或锚生成，这些组件显式地编码了我们对任务的先验知识。新框架的主要组成部分，被称为检测变压器或DETR是一个基于集合的全局损失，它通过二元匹配强制进行唯一预测，以及一个变压器编码器-解码器架构。给定一组固定的小学习对象查询，DETR对对象和全局图像上下文的关系进行推理，以直接并行输出最终的预测集。

针对定向微小目标的极端几何形状和有限特征仍然会导致严重的不匹配和不平衡问题作者提出了动态先念和由粗到精的分配器（DCFL）一方面以动态方式对先验、标签分配和目标表示进行建模，以缓和不匹配问题另一方面利用粗糙的先验匹配和更精细的后验约束来动态分配标签，为不同的实例提供适当和相对平衡的监督

通过解耦训练和搜索来训练一个支持多种架构设置的一次性(OFA)网络，为了有效地训练OFA网络，提出了一种新的渐进式收缩算法，这是一种广义剪枝方法，它可以在比剪枝(深度、宽度、核大小和分辨率)更多的维度上减小模型大小

本文的目标是开发最好的移动计算机视觉架构，优化移动设备上的精度和延迟权衡。引入了(1)互补搜索技术，(2)适用于移动设置的新型高效非线性算法，(3)新型高效网络设计，(4)新型高效分割解码器

提出了一种自动移动神经架构搜索(MNAS)方法，与以前的方法的主要区别在于延迟感知的多目标奖励和新的搜索空间，实现了精度和延迟之间的最佳权衡

提出了一个SE块，在略微增加计算成本的情况下，为现有最先进的CNNs带来了显著的性能改进

网络架构设计应该考虑直接指标，如速度，而不是间接指标，如FLOPs

深度可分离卷积并不是建立高效模型的唯一方法

在本文中，我们描述了一种新的移动架构，，它提高了移动模型在多个任务和基准测试以及不同模型尺寸范围内的最新性能。我们还描述了在我们称为SSDLite的新框架中应用这些移动模型进行对象检测的有效方法。此外，我们还演示了如何通过DeepLabv3的简化形式(我们称之为mobile DeepLabv3)构建移动语义分割模型它是基于一个反向残余结构，其中的捷径连接是在薄瓶颈层之间。中间扩展层使用轻量级深度卷积来过滤作为非线性源的特征。此外，我们发现为了保持表征能力，在窄层中去除非线性是很重要的。

ShuffleNet，轻量级NN

我们提出了MobileNets的高效模型，用于移动和嵌入式视觉应用。MobileNets基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数（宽度乘法器α和分辨率乘数ρ），它们可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适大小的模型。我们在资源和精度权衡方面进行了广泛的实验，与其他流行的ImageNet分类模型相比，我们展示了强大的性能。

最近对深度卷积神经网络(cnn)的研究主要集中在提高准确性上。对于给定的精度水平，通常可以识别达到该精度水平的多个CNN架构。在同等精度的情况下，较小的CNN架构提供了至少三个优势:(1)较小的CNN在分布式训练期间需要更少的服务器间通信。(2)较小的cnn从云端导出新模型到自动驾驶汽车所需的带宽更少。(3)较小的cnn更适合部署在FP-GAs和其他内存有限的硬件上。为了提供所有这些优势，我们提出了一个名为SqueezeNet的小型CNN架构。

提出了一种符合缩放方法，并开发了一个新的基线网络EfficientNet