梁瑛平的博客

在本文中，作者提出了一种多模态 Token 融合方法（Token Fusion），针对基于 Transformer 的视觉任务。为了有效地融合多种模式，Token Fusion 动态检测无信息的 token，并用投影和聚合的跨模态特征替代这些 token。

基于上述两个观察就有了这篇文章的cascade R-CNN，简单讲cascade R-CNN是由一系列的检测模型组成，每个检测模型（检测头）都基于不同IOU阈值的正负样本训练得到，前一个检测模型的输出作为后一个检测模型的输入，因此是stage by stage的训练方式，而且越往后的检测模型，其界定正负样本的IOU阈值是不断上升的。补充：cross-attention的Q代表当前序列，K和V是同一个输入，对应的是被编码的序列，也即encoder最后一层的输出结果；为一个query和key向量的维度。

现有的最先进的三维实例分割方法先进行语义分割然后执行分组。当执行语义分割时，会进行硬预测，使每个点与单个类相关联。然而，如下图所示，由硬决策引起的错误传播到分组中会导致预测实例与真值之间的低重叠，以及出现许多假阳性。为了解决上述问题，本文提出了一种被称为 SoftGroup 的三维实例分割方法，即进行自下而上的软分组，然后进行自上而下的细化。...

本文的主要贡献有：- 回顾了深度学习时代小目标检测的发展，并对该领域的最新进展进行了系统的调查，并对这些方法的优利弊进行了深入的分析；- 发布两个小目标检测的大规模基准，第一个专门用于驾驶场景，另一个专门用于空中场景。所提出的数据集是首次尝试为SOD量身定制的大规模基准测试；- 研究了几种具有代表性的目标检测方法在本文的数据集上的性能，并根据定量和定性的结果进行了深入的分析，有利于后续小目标检测的算法设计；...

本文提出了一种新的三维目标检测架构，M3DETR，它将不同的点云表示（原始、体素、鸟瞰图）与基于多尺度特征金字塔的不同特征尺度相结合。M3DETR 是第一种使用 Transformer 同时统一多个点云表示、特征尺度以及建模点云之间的相互关系的方法。...

对三维点云的理解是自动驾驶和机器人技术中的一个重要组成部分。在本文中，作者提出了一种新的嵌入-查询范式（EQ-范式），用于三维理解任务，包括检测、分割和分类。EQ-范式是一个统一的范式，它能够将现有的 3D 主干架构与不同的任务头相结合。在 EQ-范式下，输入点云首先在嵌入阶段进行编码，采用任意的特征提取体系结构，该体系结构独立于任务和头部。然后，查询阶段允许针对不同的任务头进行特征编码。这是通过在查询阶段引入中间表示，即 Q-表示来实现嵌入阶段和任务头。作者还设计了一种新的 Q-Net 作为查询阶段网

本文介绍了一个用于多摄像机三维目标检测的框架。现有的工作是直接从单目图像中估计三维边界框，或使用深度预测网络从二维信息中生成三维目标检测的输入，与此不同，本文的方法直接在三维空间中操作预测。DETR3D 从多个相机图像中提取二维特征，然后使用一组稀疏的 3D 对象查询来索引到这些二维特征中，使用摄像机转换矩阵将 3D 位置链接到多视图图像，然后对每个对象查询进行边界框预测，使用集合到集合的损失来测量地面真实值和预测之间的差异。...

本文提出了基于端到端的 3D 目标检测模型，并提出了具有非参数查询和傅里叶位置嵌入的 Transformer。通过大量的实验发现，3DETR 在具有挑战性的 ScanNetV2 数据集上比 VoteNet 基线高出9.5%。此外，本文还展示了 3DETR 适用于检测之外的三维任务，并可以作为未来研究的构建块。...

本文设计了一种新的自适应类抑制损失（ACSL）来有效地解决目标检测长尾分布问题，提高了尾类的检测性能。具体来说，本文引入了一个无需统计的方法来分析长尾分布，从而打破了手工分组的局限性。根据这一观点，本文的 ACSL 自适应地调整了每个类别的每个样本的抑制梯度，确保了训练的一致性，并提高了对罕见类别的区分。......

因此本文开发了一种无监督的算法 AutoDetect-mNP，用于分析 TEM 图像和对 mNPs 的粒子形状进行分类，在这个过程中需要最少的人工输入，如上图。本文演示了 AutoDetect-mNP 算法的定量可靠性，以及它作为一个无偏的一般检测方法的潜力，可以用于纳米颗粒的形状分布的描述。本文使用两个不同醒转的金纳米颗粒（AuNPs）数据集用作演示。...

本文提出了一种用于无锚框SSOD的半监督学习算法。具体来说，为了对密集学习进行仔细的标签指导，本文首先提出了一种自适应过滤（AF）策略，从而将伪标签划分为三个细粒度的部分，包括背景、前景和可忽略区域。然后使用 MetaNet 对这些伪标签进行细化，以消除分类伪正样本...

本文提出了DINO（DETR with Improved deNoising anchOr boxes）使用 ResNet50 作为主干网络能够在 COCO 训练 12 轮能达到 48.3 mAP，36 轮能达到 51.0 mAP。与排行榜上的其他模型相比，DINO显著减少了模型大小和训练前的数据大小，同时取得了更好的结果。...

半监督学习，即同时使用有标记和未标记数据的训练网络，最近取得了重大进展。然而，现有的工作主要集中在图像分类任务上，而忽略了目标检测。因此在这项工作中，作者重新讨论了半监督对象检测（SSOD），并确定了SSOD中的伪标记偏差问题。为了解决这个问题，作者引入了无偏见教师模型（Unbiased Teacher），这是一种简单而有效的方法，以互惠互利的方式共同训练学生模型和逐步进步的教师模型。...

作者提出了一种新的特征级超分辨率方法，利用适当的高分辨率目标特征作为监督信号训练的SR模型和匹配的相对感受野的训练对输入低分辨率特征和目标高分辨率特性，而且可以与任何基于特征池化的检测器集成。...

由于缺乏丰富和真实的数据，学习到的单幅图像去噪算法不能很好地推广到不类似于训练所用数据的真实原始图像。虽然噪声合成的异方差高斯模型可以缓解这一问题，但数码相机电子器件引起的噪声源在很大程度上仍被忽视。为了解决这个问题，作者提出了一个基于CMOS光传感器特性的高度精确的噪声形成模型，从而使我们能够合成真实的样本，更好地匹配图像形成过程的物理特性。...

为了建立一个在航空图像中的微小物体检测的基准，作者还在AI-TOD数据集上评估了最先进的目标检测器。实验结果表明，将这些方法直接应用于AI-TOD会产生次优目标检测结果，因此需要设计新的微型目标检测器。因此，作者提出了一种基于多中心点的学习网络（M-CenterNet）来提高小目标检测的定位性能，实验结果表明，该性能提高显著。...

对于每一幅图像，本文的方法的过程可以分为三个阶段。首先，利用密度估计模型预测图像的粗粒度密度图。其次，通过密度连接区域生成初始聚类区域，然后估计目标区域在聚类区域中的比例，并通过分割或扩大操作来调整聚类区域。最后，通过非最大抑制（NMS）来检测并合并所有的聚类区域。...

根据低层特征的计算高度冗余和特征金字塔高度结构化，QueryDet首先预测低分辨率特征上小物体的粗略位置，然后使用由那些粗略位置稀疏引导的高分辨率特征来计算准确的检测结果。这样，不仅可以收获高分辨率特征图的好处，而且还可以避免对背景区域进行无用的计算。 此pipeline以级联方式应用，可实现快速，准确的小物体检测。...

作者提出了一种新的框间距离的度量方法，用来解决传统的 IoU 度量对于小目标过于敏感的问题，可以直接用于基于锚框的检测器和NMS中。在我自己采集的数据上进行训练发现该方法确实比较好用。...

CVPR2020 oral & TPAMI 2021 的很优秀的里程碑式的暗光去噪文章

这篇文章跟Pix2seq基本一致，只不过将每个3D对象视为一系列单词序列，并将3D对象检测任务重新表示为以自回归的方式从3D场景中解码单词

【NeurIPS 2021】Softmax-free Transformer with Linear Complexity（数学概念补充）高斯核：正定核：高斯核：线性支持向量机 (Linear-SVM) 被用于线性可分的数据集的二分类问题，而当数据集不是线性可分的时候，需要利用到核函数将数据集映射到高维空间，这样数据在高维空间中就线性可分。例如下面的数据就是线性不可分的：这是一个在当前空间下不可分的情况，我们可以利用核函数将数据映射到高维空间：这个线性平面，返回到原来空间就是一个形状类似椭圆的

【NeurIPS 2021】线性复杂度的 Transformer：SOFT: Softmax-free Transformer with Linear Complexity论文地址：代码地址：论文摘要：具体实现：Softmax-free self-attention formulation：Low-rank regularization via matrix decomposition with linear complexity：对比实验：实验设置：Comparison with existing lin

Augmented Shortcuts for Vision Transformers论文地址：主要工作：方案简介：基本定义：具体实现：Augmented Shortcuts：Efficient Implementation via Circulant Projection：实验结果：论文地址：https://arxiv.org/abs/2106.15941主要工作：主流 Transformer 模型的设计采用了深度体系结构，随着深度的增加，特征多样性会不断减少，即特征崩溃。本文从理论上分析了特征

Sampling Matters in Deep Embedding Learning论文地址：代码地址：论文摘要：论文简介：论文地址：https://arxiv.org/abs/1706.07567代码地址：https://github.com/suruoxi/DistanceWeightedSampling论文摘要：深度嵌入解决的是衡量图像之间的特征相似读。最突出的方法是优化一个具有适当损失函数的深度卷积网络，如 contrastive loss 和 triplet loss。虽然大量的工

Learning in High Dimension Always Amounts to Extrapolation论文地址：主要工作：研究背景：具体实验：The Role of the Intrinsic, Ambient and Convex Hull Dimensions：Real Datasets and Embeddings are no Exception：理论证明：论文地址：https://arxiv.org/abs/2110.09485主要工作：插值和外推（ interpolatio

SpotTune: Transfer Learning through Adaptive Fine-tuning摘要：当前的问题：主要工作：具体实现：SpotTune Overview：Training with the Gumbel Softmax Policy：Compact Global Policy Variant：实验结果：摘要：迁移学习允许源任务影响目标任务的诱导偏差，在计算机视觉中得到了广泛的应用。利用深度神经网络进行迁移学习的典型方法是使用来自目标任务的数据来微调对源任务进行预训练的模型

Vision Transformers for Dense Prediction论文地址：代码地址：主要工作：具体实现：Transformer encoder：Convolutional decoder：实验结果：实验结果：论文地址：https://arxiv.org/abs/2103.13413代码地址：https://github.com/isl-org/DPT主要工作：我们引入了密集的视觉Transformer，这是一种利用视觉Transformer代替卷积网络作为密集的预测任务的主干的架

Vision Transformer for Object Detection本文作者：Encoder-Decoder 简介：Encoder-Decoder 的缺陷：Attention 机制：Self-Attention 机制：Multi-Head Attention：Transformer 结构：图像分类之ViT：图像分类之Pyramid ViT：目标检测之DETR：目标检测之Deformable DETR：本文作者：BIT可达鸭禁止转载Encoder-Decoder 简介：机器翻译是序列转换模

【2021 计算机视觉】CV算法岗面试问题及其答案总结（二）Anchor Free 对比 Anchor-Based 的算法的主要优点？Roi Align 具体实现及其解决的问题？讲一下Yolo、SSD和Faster-RCNN三种检测算法？如何解决目标检测里类别不均衡的问题？讲一下实例分割任务跟其他任务的区别？讲一下实例分割中的Mask RCNN？Data-Free数据生成的方法有哪些？讲一下Cascade-RCNN的Motivation？介绍一下Triplet Loss？MobileNet系列为什么快？为什

【2021 计算机视觉】面试问题及其答案总结（一）BN、LN、IN与GN对比：BN 和 LN 使用场景：熵、交叉熵、KL散度、JS散度：JS散度解决了什么问题：求操作的 FLOPs？过拟合要怎么解决？随机梯度下降相比全局梯度下降好处是什么？L1、L2正则化在什么任务上分别会优先考虑？dropout为什么能解决过拟合 ？卷积有哪些变种？简单介绍一下Deformable convolution：介绍一下GCN中的拉普拉斯矩阵：介绍一下GCN的发展过程？目标检测中IOU是如何计算的，以及介绍一下IOU Loss：

【黑盒对抗攻击】SPADE: A Spectral Method for Black-Box Adversarial Robustness Evaluation论文地址：代码地址：论文摘要：主要问题：主要思路：主要贡献：基本概念：谱图理论：对抗性鲁棒性的机器学习：对抗性鲁棒性评估：具体实现：整体框架：基于图的流形构造：论文地址：https://arxiv.org/abs/2102.03716代码地址：https://github.com/Feng-Research/SPADE论文摘要：这篇文章介

基于PaddleDetection对Yolov3进行剪枝联系作者：模型剪枝算法 ：L1(L2)NormFilterPruner：主要思想：修剪策略：微调策略：残差网络的处理：缺点：FPGMNormFilterPruner：主要思想：基本原理：几何中位数：信息估计中心：训练策略：实现代码：最终效果：联系作者：B站：https://space.bilibili.com/470550823CSDN：https://blog.csdn.net/weixin_44936889AI Studio：ht

import torchfrom torch import nnimport torchvision.models as modelsimport torch.optim as optimimport matplotlib.pyplot as pltimport timefrom torch.utils.data import DataLoaderfrom torchvision import transformsimport numpy as npimport mathfrom tor

《Tiny SSD: A Tiny Single-shot Detection Deep Convolutional Neural Network for Real-time Embedded Object Detection》（一）待解决的问题：（二）SSD 的宏观结构：2.1 论文地址：2.2 SSD 原理及其源码详解：（三）SqueezeNet 的微观架构：3.1 论文地址：3.2 Sque...

【论文阅读笔记】Simple and Deep Graph Convolutional Networks1. 论文地址：2. 摘要：3. 简介：3.1 图卷积神经网络：3.2 传统GCN的局限性：3.3 一些解决方案：3.4 本文的方案：4. 相关研究：4.1 符号表示：4.2 GCN：5. GCNII 模型：5.1 模型简介：5.2 初始残差连接：5.3 恒等映射：5.4 迭代收缩阈值：6. 实验结果：1. 论文地址：论文：https://arxiv.org/pdf/2007.02133.pdf源码

《Recursive Unsupervised Learning of Finite Mixture Models》（有限混合模型的递归无监督学习）（一）论文地址：（二）abstract-提要：（三）Parameter Estimation-参数估计：）：3.3.1 引入隐藏变量：3.3.2 迭代参数估计值：3.3.2.1 E-...

Pytorch Implementation of Point Transformer基于Point Transformers复现点云分割任务代码地址：https://github.com/Sharpiless/Point-Transformer-Pytorch论文地址：https://arxiv.org/abs/2012.09164准备数据：使用连接下载 ShapeNet 数据集：下载地址下载完成后解压到 data/shapenetcore_partanno_segmentation_b

PointCNN: Convolution On X-Transformed Points（一）论文地址：（二）核心思想：（三）3D 卷积的不足：（四）X-transformation：（五）PointCNN 的网络结构：5.1 Hierarchical Convolution：5.2 X-Conv 操作：5.3 网络结构：（六）实验结果：（一）论文地址：https://arxiv.org/a...

PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space（一）论文地址：（二）核心思想：（一）论文地址：https://arxiv.org/abs/1706.02413（二）核心思想：...