何大春-CSDN博客

原创 MULTI-SCALE CONTINUITY-AWARE REFINEMENT NETWORK FOR WEAKLY SUPERVISED VIDEO ANOMALY DETECTION 论文阅读

在许多先前的工作中，弱监督视频异常检测被制定为多实例学习（MIL）问题，这将视频表示为多个实例的集合。然而，大多数基于MIL的框架仅关注于从给定的实例中识别异常事件，而不考虑事件的连续性。由于异常事件在真实世界的视频中往往更具连续性，因此本文提出了一种多尺度连续性感知精化网络（MCR）。它利用多尺度连续性的特性，通过引入实例的差异化上下文信息来精化异常分数。同时，设计了多尺度注意力来产生视频级别的权重，以选择适当的尺度并融合不同尺度上的所有分数。

2024-04-23 20:06:07 593

原创【视频异常检测】Open-Vocabulary Video Anomaly Detection 论文阅读

当前的视频异常检测（VAD）方法在弱监督下通常局限于封闭集设置，并且可能在测试数据中存在未见过的异常类别的开放世界应用中遇到困难。最近的一些研究尝试解决一个更现实的问题，即开放集异常检测（open-set VAD），其旨在检测给定已见异常和正常视频的未见异常。然而，这样的设置侧重于预测帧异常分数，无法识别异常的具体类别，尽管这种能力对于构建更加明智的视频监控系统至关重要。本文进一步探讨了开放词汇视频异常检测（OVVAD），我们旨在利用预训练的大型模型来检测和分类已见和未见的异常。

2024-04-23 16:07:55 717

原创 Completeness Modeling and Context Separation for Weakly Supervised Temporal Action Localization 论文阅读

时间动作定位对于理解未剪辑视频至关重要。在这项工作中，我们首先确定了由于弱监督而引起的两个未充分探讨的问题，即动作完整性建模和动作上下文分离。然后，通过提出一种新颖的网络架构及其训练策略，我们明确地研究了这两个问题。具体而言，为了模拟动作的完整性，我们提出了一个多分支神经网络，其中的分支被强制发现独特的动作部分。因此，可以通过融合来自不同分支的激活来定位完整的动作。为了将动作实例与周围的上下文分开，我们利用了静止视频剪辑不太可能是动作的先验知识，为训练生成了硬负样本数据。

2024-04-17 21:57:49 780

原创【视频异常检测】Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised... 论文阅读

弱监督视频异常检测旨在仅利用视频级别标签来识别视频中的异常事件。最近，两阶段自训练方法通过自动生成伪标签并利用这些标签自我调整异常分数取得了显著的改进。由于伪标签起着关键作用，我们提出了一种增强框架，通过利用完整性和不确定性属性来实现有效的自训练。具体而言，我们首先设计了一个多头分类模块（每个头作为一个分类器），并采用多样性损失来最大化不同头部预测的伪标签分布差异。这鼓励生成的伪标签尽可能涵盖多个异常事件。然后，我们设计了一个迭代的不确定性伪标签优化策略。

2024-04-17 16:13:28 1182 1

原创 Weakly Supervised Audio-Visual Violence Detection 论文阅读

由于近年来大量视频的涌现，视频中的暴力检测在实际应用中非常有前景。大多数以前的工作将暴力检测定义为简单的视频分类任务，并使用小规模数据集的单模态，例如，视觉信号。然而，这样的解决方案供给不足。为了缓解这个问题，我们研究了大规模音视频暴力数据上的弱监督暴力检测，并首次引入了两个互补的任务，即粗粒度暴力帧检测和细粒度暴力事件检测，将简单的暴力视频分类推进到帧级别的暴力事件定位，旨在准确地定位未经修剪的视频中的暴力事件。

2024-04-16 17:47:40 1140

原创 Modality-Aware Contrastive Instance Learning with Self-Distillation ... 论文阅读

弱监督的音频-视觉暴力检测旨在利用视频级别标签区分包含多模态暴力事件的片段。许多先前的工作在早期或中间阶段执行音频-视觉整合和交互，但忽略了在弱监督设置下的模态异质性。在本文中，我们分析了多实例学习（MIL）过程中的模态异步性和未区分实例现象，并进一步研究了它对弱监督音频-视觉学习的负面影响。为了解决这些问题，我们提出了一种模态感知对比实例学习与自我蒸馏（MACIL-SD）策略。具体来说，我们利用轻量级的双流网络生成音频和视觉袋，其中单模态背景、暴力和正常实例以无监督方式聚类为半袋。

2024-04-16 11:16:39 1143

原创【视频异常检测】Learning Multimodal Violence Detection under Weak Supervision 论文阅读

暴力检测在计算机视觉领域已经研究多年。然而，先前的工作要么是表面的，例如对短视频剪辑进行分类，并且只针对单一场景；要么是不足的，例如只使用单一模态，或者基于手工特征的多模态。为了解决这个问题，本文首先发布了一个名为XD-Violence的大规模多场景数据集，总时长为217小时，包含4754个未剪辑的视频，并带有音频信号和弱标签。然后，我们提出了一个神经网络，包含三个并行分支，用于捕获视频片段之间的不同关系并集成特征。

2024-04-15 21:28:14 874 1

原创【视频异常检测】Text Prompt with Normality Guidance for Weakly Supervised Video Anomaly 论文阅读

弱监督视频异常检测（WSVAD）是一项具有挑战性的任务。基于弱标签生成细粒度伪标签，然后进行自我训练分类器是目前一个有前景的解决方案。然而，由于现有方法仅使用RGB视觉模态，忽略了类别文本信息的利用，从而限制了更准确伪标签的生成，并影响了自我训练的性能。受基于事件描述的手动标注过程的启发，在本文中，我们提出了一种基于文本提示与正常性引导（TPWNG）的弱监督视频异常检测伪标签生成和自我训练框架。

2024-04-15 15:21:17 755 2

原创 DePT: Decoupled Prompt Tuning 论文阅读

这项工作突破了提示调整中的基础-新任务权衡（BNT）困境，即调整后的模型对基础（或目标）任务的泛化效果越好，对新任务的泛化效果就越差，反之亦然。具体来说，通过对基础任务和新任务学到的特征进行深入分析，我们观察到BNT源于通道偏置问题 - 绝大多数特征通道被基础特定知识所占据，导致了对新任务重要的任务共享知识的崩溃。

2024-04-15 10:30:40 852 2

原创 [视频异常检测]Dynamic Distinction Learning: Adaptive Pseudo Anomalies for Video Anomaly Detection 论文阅读

我们引入了动态区分学习（DDL）用于视频异常检测，这是一种结合了伪异常动态异常加权和区分损失函数的新型视频异常检测方法，以提高检测准确性。通过在伪异常上进行训练，我们的方法能够适应正常和异常行为的变化性，而无需固定的异常阈值。我们的模型在Ped2、Avenue和ShanghaiTech数据集上展现了卓越的性能，其中为每个场景定制了单独的模型。这些成就突显了DDL在推进异常检测方面的有效性，为视频监控挑战提供了可扩展和可适应的解决方案。代码还没公布，论文好像也没说σℓσ(ℓ)σℓ。

2024-04-12 22:15:12 627 1

原创 Deformable Convolutional Networks论文阅读

这项工作介绍了两个新模块，以增强卷积神经网络（CNNs）的变换建模能力，分别是可变形卷积（deformable convolution）和可变形RoI池化（deformable RoI pooling）。这两个模块的基本思想是在模块中增加额外的偏移量，从而增强空间采样位置的变换能力，并从目标任务中学习这些偏移量，无需额外的监督。

2024-04-08 22:20:26 1086

原创【视频异常检测】Long-Short Temporal Co-Teaching for Weakly Supervised Video Anomaly Detection 论文阅读

弱监督视频异常检测（WSVAD）是一个具有挑战性的问题，旨在仅利用视频级别的标注来学习VAD模型。在这项工作中，我们提出了一种长短时序协同教学（LSTC）方法来解决WS-VAD问题。它构建了两个基于管状体的时空transformer网络，分别从短期和长期视频剪辑中进行学习。每个网络都根据基于多实例学习（MIL）的排序损失进行训练，当剪辑级别的伪标签可用时，还会使用交叉熵损失。采用协同教学策略来训练这两个网络。

2024-04-02 19:37:14 884

原创【视频异常检测】Unbiased Multiple Instance Learning for Weakly Supervised Video Anomaly Detection 论文阅读

弱监督视频异常检测（WSVAD）是具有挑战性的，因为异常的二进制标签仅在视频级别上给出，但输出需要针对片段级别的预测。因此，在WSVAD中，多实例学习（MIL）被广泛采用。然而，众所周知，MIL往往会产生许多错误警报，因为片段级别的检测器很容易受到简单上下文中异常片段的影响，会被具有相同偏见的正常片段所混淆，并且会错过具有不同模式的异常。（UMIL），旨在学习改善WSVAD的无偏异常特征。

2024-04-01 19:29:31 659

原创 Decoupled Multimodal Distilling for Emotion Recognition 论文阅读

这项工作旨在通过语言、视觉和声音等多种形式感知人类情感，即人类多模态情感识别（MER）。尽管先前的MER方法表现出色，但固有的多模态异质性仍然存在，不同模态的贡献差异显著。为了解决这个问题，我们提出了一种分离式多模态蒸馏（DMD）方法，通过促进灵活和自适应的跨模态知识蒸馏，旨在增强每种模态的区分特征。特别地，每种模态的表示被分解为两部分，即与模态无关/独占的空间，以自回归方式进行。DMD利用图蒸馏单元（GD-Unit）对每个分离的部分进行处理，以便每个GD可以以更专业和有效的方式执行。

2024-03-31 18:54:40 1257

原创【视频异常检测】Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection 论文阅读

视频异常检测在弱监督条件下面临着重大挑战，特别是由于在训练过程中缺乏帧级别的注释。虽然先前的研究在建模时间关系和学习具有区分性特征方面使用了图卷积网络和自注意力机制以及基于多实例学习（MIL）的分类损失，但这些方法通常采用多分支架构来分别捕获局部和全局依赖关系，从而增加了参数和计算成本。此外，MIL损失的二元约束提供的粗粒度跨类别可分性忽视了异常类别内部的细粒度可辨识性。为了解决这一问题，本文介绍了一个弱监督异常检测框架，重点放在有效的上下文建模和增强的语义可辨识性上。我们提出了一个称为。

2024-03-27 16:52:01 649

原创【视频异常检测】MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection 论文阅读

弱监督视频异常检测（WS-VAD）旨在基于具有区分性的表示来区分异常事件和正常事件。大多数现有的工作在视频表示方面存在不足。在这项工作中，我们开发了一个多实例自训练框架（MIST），以仅基于视频级别注释有效地完善任务特定的区分性表示。具体而言，MIST由以下两部分组成：1）多实例伪标签生成器，该生成器采用稀疏连续抽样策略来生成更可靠的片段级伪标签；以及2）自引导注意力增强的特征编码器，旨在在提取任务特定表示时自动聚焦于帧中的异常区域。

2024-03-20 22:15:00 1094 1

原创【视频异常检测 Dual Memory Units with Uncertainty Regulation for Weakly Supervised Video Anomaly...论文阅读

学习区分正常状态和异常事件的辨别性特征对于弱监督视频异常检测（WS-VAD）任务至关重要。现有方法，无论是针对视频还是片段级标签的方法，主要集中于提取异常数据的表示，而忽略了正常数据的含义。我们观察到这种方案是次优的，即为了更好地区分异常，需要了解什么是正常状态，并可能导致更高的误报率。为解决这一问题，我们提出了一种不确定性调节的双存储单元（UR-DMU）模型，以学习正常数据的表示和异常数据的辨别性特征。

2024-03-20 15:36:09 894 3

原创【视频异常检测】WEAKLY SUPERVISED VIDEO ANOMALY DETECTION VIA CENTER-GUIDED DISCRIMINATIVE LEARNING 论文阅读

在监控视频中进行异常检测是一项具有挑战性的任务，因为异常视频内容和持续时间的多样性。在本文中，我们将视频异常检测视为一个回归问题，即针对视频片段的异常分数进行弱监督。因此，我们提出了一种名为Anomaly Regression Net（ARNet）的异常检测框架，它在训练阶段只需要视频级别的标签。此外，为了学习用于异常检测的判别特征，我们设计了一个动态多实例学习损失和一个中心损失用于所提出的AR-Net。前者用于扩大异常和正常实例之间的类间距离，而后者旨在减少正常实例的类内距离。

2024-03-19 20:29:27 916

原创【视频异常检测】Real-world Anomaly Detection in Surveillance Videos 论文阅读

监控视频能够捕捉到各种真实的异常情况。在本文中，我们提出通过利用正常和异常视频来学习异常情况。为了避免在训练视频中注释异常段或剪辑，这是非常耗时的，我们提出通过深度多实例排序框架来学习异常，利用弱标记的训练视频，即训练标签（异常或正常）是在视频级别而不是剪辑级别。在我们的方法中，我们将正常和异常视频视为包，将视频段视为多实例学习（MIL）中的实例，并自动学习一个深度异常排序模型，该模型在异常视频段上预测高异常分数。此外，我们在排序损失函数中引入稀疏性和时间平滑度约束，以更好地在训练期间定位异常。

2024-03-19 16:22:56 1272

原创【视频异常检测】Delving into CLIP latent space for Video Anomaly Recognition 论文阅读

我们介绍了一种新的方法AnomalyCLIP，它首次将大型语言和视觉（LLV）模型（如CLIP）与多实例学习相结合，用于联合视频异常检测和分类。我们的方法特别涉及操纵潜在的CLIP特征空间来识别正常事件子空间，这反过来又使我们能够有效地学习异常事件的文本驱动方向。当异常帧被投影到这些方向上时，如果它们属于特定的类别，它们就会表现出大的特征量。我们还引入了一种计算高效的Transformer架构来对帧之间的短期和长期时间相关性进行建模，最终产生最终的异常分数和类预测概率。

2024-03-18 18:17:12 1119

原创【视频异常检测】Diversity-Measurable Anomaly Detection 论文阅读

基于重建的异常检测模型通过抑制对异常的泛化能力来实现其目的。然而，多样化的正常模式因此也不能被很好地重建。虽然一些努力已经被做出来通过建模样本多样性来缓解这个问题，但由于不希望的异常信息的传递而导致了捷径学习。在本文中，为了更好地处理这个权衡问题，我们提出了多样性可测量异常检测（DMAD）框架，以增强重建多样性，同时避免对异常的不良泛化。为此，我们设计了金字塔变形模块（PDM），它从重建的参考到原始输入中估计多尺度变形场，以建模不同的正常模式并测量异常的严重程度。

2024-03-16 16:33:06 1245

原创【图像异常检测】SimpleNet: A Simple Network for Image Anomaly Detection and Localization 论文阅读

我们提出了一种简单且易于应用的网络（称为SimpleNet）来检测和定位异常。SimpleNet由四个组件组成：（1）预训练的特征提取器，用于生成局部特征，（2）浅层特征适配器，用于将局部特征转移到目标领域，（3）简单的异常特征生成器，通过向正常特征添加高斯噪声来模拟异常特征，以及（4）二元异常鉴别器，用于区分异常特征和正常特征。在推断过程中，异常特征生成器将被丢弃。我们的方法基于三个直觉。首先，将预训练特征转换为目标导向的特征有助于避免域偏差。

2024-03-15 17:02:13 1002

原创【视频异常检测】Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors论文阅读

文章信息：发表于：CVPR 2024原文链接：https://arxiv.org/abs/2306.12041源代码：https://github.com/ristea/aed-mae我们提出了一种基于轻量级掩码自动编码器（AE）应用于视频帧级别的高效异常事件检测模型。我们提出的模型的新颖之处有三点。首先，我们引入了一种基于运动梯度加权tokens的方法，从而将重点从静态背景场景转移到前景对象上。其次，我们将教师解码器和学生解码器集成到我们的架构中，利用两个解码器输出之间的差异来改善异常检测。第三，我

2024-03-12 15:10:57 1036

原创【视频异常检测】Synthetic Temporal Anomaly Guided End-to-End Video Anomaly Detection 论文阅读

由于异常样本的有限可用性，视频异常检测通常被视为一类分类（OCC）问题。解决这个问题的一种流行方法是利用仅在正常数据上训练的自编码器（AE）。在测试时，预期AE能够良好地重构正常输入，同时对异常重构较差。然而，一些研究显示，即使只有正常数据的训练，AE也经常会开始将异常样本重构得很好，从而降低了其异常检测性能。为了缓解这一问题，我们提出了一种时间伪异常合成器，利用仅有的正常数据生成假异常样本。然后，训练AE以最大化伪异常的重构损失，同时最小化正常数据的损失。

2024-03-09 21:23:46 1133 1

原创【图像异常检测】Visual Anomaly Detection via Partition Memory Bank Module and Error Estimation 论文阅读

基于存储模块的视觉异常检测的重建方法试图缩小正常样本的重建误差，同时扩大异常样本的重建误差。不幸的是，现有的存储模块并不完全适用于异常检测任务，异常样本的重建误差仍然较小。为此，本工作提出了一种新的无监督视觉异常检测方法，共同学习有效的正常特征并消除不利的重建误差。具体来说，提出了一种新颖的分区存储库（PMB）模块，用于有效地学习和存储具有语义完整性的正常样本的详细特征。它开发了一种新的分区机制和独特的查询生成方法来保留上下文信息，然后提高存储模块的学习能力。

2024-03-09 16:48:11 871

原创【视频异常检测】Region-based Appearance and Flow Characteristics for Anomaly Detection in Infrared...

我们提出了一种利用视觉外观和光流的局部运动特征进行异常检测的方法，在自动视觉监控中，异常检测是一个经典问题，即在操作数据可用性极不平衡的情况下（正常类别的样本量不足，并且对另一类别（异常）的分布覆盖不足），确定正常和异常。通过利用来自区域提议网络的已建立的对象定位技术，从每个对象区域提取光流，并将其与远红外（热）波段中的外观结合起来，为每个对象提供一个3通道时空张量表示（1×热-空间外观；2×光流大小作为x和y分量-时间运动）。

2024-03-05 16:12:03 904

原创【图像异常检测】Grid-Based Continuous Normal Representation for Anomaly Detection 论文阅读

最近在无监督方式下，异常检测领域取得了重大进展，其中仅有正常图像用于训练。几种最新的方法旨在基于记忆检测异常，通过比较输入和直接存储的正常特征（或使用正常图像训练的特征）。然而，这种基于记忆的方法在离散特征空间上操作，通过最近邻或注意机制实现，存在泛化能力差或者输出与输入相同的身份捷径问题。此外，现有方法中大部分设计用于检测单一类别的异常，当面对多类别对象时性能不理想。为了解决上述所有挑战，

2024-03-02 16:01:47 1319

原创【视频异常检测】Dynamic Local Aggregation Network with Adaptive Clusterer for Anomaly Detection 论文阅读

基于内存增强型自动编码器（AE）的异常检测现有方法存在以下缺点（1）建立记忆库需要额外的内存空间。（2）固定数量的原型基于主观假设，忽略了数据特征的差异和多样性。为了克服这些缺点，我们引入了DLAN-AC，一种具有自适应聚类器的动态局部聚合网络，用于异常检测。首先，提出的DLAN可以自动学习并聚合来自AE的高级特征，以获得更具代表性的原型，并释放额外的内存空间。其次，提出的AC可以自适应地对视频数据进行聚类，以得到具有先验信息的初始原型。此外。

2024-03-01 15:11:56 964

原创【视频异常检测】A New Comprehensive Benchmark for Semi-supervised Video Anomaly Detection and ... 论文阅读

半监督视频异常检测（VAD）是智能监控系统中的关键任务。然而，在VAD中一种名为场景相关异常的基本类型的异常并没有得到研究人员的关注。此外，目前还没有研究探讨异常预测，这是一个更重要的任务，用于预防异常事件的发生。为此，我们提出了一个新的综合数据集，NWPU Campus，包含43个场景，28类异常事件和16小时的视频。目前，它是最大的半监督VAD数据集，具有最多的场景和异常类别，最长的持续时间，并且是唯一考虑到场景相关异常的数据集。同时，它也是第一个用于视频异常预测的数据集。

2024-02-29 21:00:15 964

原创【视频异常检测】MGFN : Magnitude-Contrastive Glance-and-Focus Network for Weakly-Supervised Video Anomaly...

监控视频中异常的弱监督检测是一项具有挑战性的任务。超越现有工作对于长视频中异常定位能力不足的局限性，我们提出了一种新颖的扫视与聚焦网络，以有效地整合时空信息，实现精确的异常检测。此外，我们在经验上发现，现有方法通常使用特征幅度来表示异常程度，但忽视了场景变化的影响，因此由于特征幅度在场景之间的不一致性而导致性能不佳。为了解决这个问题，我们提出了特征放大机制和幅度对比损失来增强特征幅度的区分能力，用于检测异常。

2024-02-29 15:27:31 847

原创【视频异常检测】VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection 论文阅读

最近，对比语言-图像预训练(CLIP)模型在各种图像级任务中取得了巨大成功，展现了学习丰富语义的强大视觉表示能力。一个开放且值得探讨的问题是如何高效地将这样一个强大的模型适应到视频领域，并设计一个健壮的视频异常检测器。在这项工作中，我们提出了VadCLIP，一种利用冻结的CLIP模型直接进行弱监督视频异常检测(WSVAD)的新范式，无需任何预训练和微调过程。与当前直接将提取的特征馈送到弱监督分类器进行帧级二分类的方法不同，VadCLIP充分利用了CLIP的视觉和语言之间的细粒度关联，并涉及双分支。

2024-02-28 19:50:45 1110

原创【视频异常检测】Towards Interpretable Video Anomaly Detection 论文阅读

我们提出了一种新颖的框架，可以解释监控视频中检测到的异常事件。大多数视频异常检测方法基于数据密集型的端到端训练的神经网络，这些网络从视频中提取时空特征。在这种方法中提取的特征表示不具有解释性，这阻碍了对异常原因的自动识别。为此，我们提出了一种新颖的框架，可以解释监控视频中检测到的异常事件。除了独立监测对象外，我们还监测它们之间的相互作用，以检测异常事件并解释其根本原因。具体来说，我们证明了通过监测对象相互作用获得的场景图提供了异常事件背景的解释，并且在性能上与最近的最新技术方法竞争力相当。

2024-02-27 16:40:55 1274 1

原创【视频异常检测】Weakly-supervised Video Anomaly Detection with Robust Temporal Feature Magnitude ... 论文阅读

异常检测与弱监督的视频级标签通常被构建为多实例学习（MIL）问题，其目标是识别包含异常事件的片段，每个视频被表示为一袋视频片段。尽管当前的方法在检测性能上表现有效，但它们对正实例的识别，即异常视频中的罕见异常片段，往往受主导负实例的影响，特别是当异常事件是与正常事件相比仅存在小差异的微妙异常时。这个问题在许多忽略重要视频时序依赖关系的方法中被进一步恶化。

2024-01-25 18:05:43 970

原创【视频异常检测】Attribute-based Representations for Accurate and Interpretable Video Anomaly Detection 论文阅读

视频异常检测（VAD）是一项具有挑战性的计算机视觉任务，具有许多实际应用。由于异常本质上具有模糊性，因此用户必须了解系统决策的推理过程，以确定其合理性。在本文中，我们提出了一种简单但高效的方法，通过采用基于属性的表示来推动VAD准确性和可解释性的边界。我们的方法使用速度和姿态来表示每个对象。异常分数则是通过基于密度的方法计算得出的。令人惊讶的是，我们发现这种简单的表示方法足以在最大且最复杂的VAD数据集ShanghaiTech中实现最先进的性能。

2024-01-25 18:05:21 1157

原创【视频异常检测】Overlooked Video Classification in Weakly Supervised Video Anomaly Detection 论文阅读

目前，大多数基于弱监督的视频异常检测算法主要使用多实例学习（MIL）或其变体。几乎所有最近的方法都集中在如何选择正确的片段进行训练，以提高性能。它们忽视或未意识到整个视频分类在改善异常检测性能方面的潜力，特别是在负面视频上。在本文中，我们专门研究了使用BERT或LSTM进行整个视频分类监督的效果。借助这种BERT或LSTM，可以将视频的所有片段的CNN特征聚合成一个单一的特征，该特征可用于整个视频分类。这种简单而强大的整个视频分类监督，结合MIL和RTFM框架，显著提高了三个主要视频异常检测数据集上的性能。

2024-01-23 11:30:59 928 1

空空如也

空空如也