视频异常检测
文章平均质量分 96
这里都是关于视频异常检测方向的论文阅读笔记
温柔哥`
关于异常检测的更多内容,可以去看我们团队的博客,我在维护异常检测的内容:https://openvisuallab.github.io/archiver/video_anomaly_detection/
展开
-
CUVA:对视频异常因果理解的综合基准(A Comprehensive Benchmark for Causation Understanding of Video Anomaly)
这篇论文主要是发布了一个关于因果理解的数据集,考虑的很全面,包括是什么、为什么、多么重要。原创 2024-09-26 12:59:21 · 1057 阅读 · 0 评论 -
VadCLIP:将视觉语言模型应用于弱监督视频异常检测(VadCLIP: Adapting Vision-Language Models for WSVAD)
作者主要是提出了WSVAD的`新范式VadCLIP`,是`双分支`结构,第一个分支利用视觉信息实现二分类,为粗粒度;第二个分支利用 视觉语言对齐方法 实现多分类,为细粒度。VadCLIP主要包括`3个组件`,分别为:①LGT-Adapter捕获时间依赖;②Two prompt mechanisms有效地将CLIP用到WSVAD任务;③MIL-Align实现了弱监督下对齐范式的优化,尽量保留了预训练的知识。原创 2024-08-16 17:03:30 · 884 阅读 · 0 评论 -
VAD-LLaMA:基于大语言模型的视频异常检测和解释(Video Anomaly Detection and Explanation via Large Language Models)
作者主要是提出了一个新颖的VAD方法,即VAD-LLaMA,将VLLMs加进了VAD框架,使得模型不仅可以检测异常,还可以解释异常,当然了,检测异常的时候还不用手动选择阈值。创新点主要是:①在MIL基线即VADor上引入了一个LTC来建模长期上下文(还有一个扩展,引入短期历史信息);②提出了三阶段训练方法,使得在训练VLLMs到VAD领域时效率更高,即减少数据需求和降低标注成本。原创 2024-08-13 17:50:53 · 1184 阅读 · 0 评论 -
OVVAD:开放词汇视频异常检测(Open-Vocabulary Video Anomaly Detection)
这篇研究的是弱监督下的开放词汇视频异常检测任务,方法划分为2个任务,一个是只管检测异常,一个只管给异常分类。他认为重要的有:①是几乎没权重的TA模块;②可以给视觉信号注入语义知识的SKI模块;③可以生成伪异常样本的NAS模块。原创 2024-08-07 15:21:38 · 528 阅读 · 0 评论 -
HAWK:学习理解开放世界视频异常(HAWK: Learning to Understand Open-World Video Anomalies)
主要是对现有的数据集进行了改造(生成语言描述+QA对),然后是提出了结合运动模态的新方法HAWK,它生成的语言描述更关注于对异常的理解,并且更倾向于泛化到开放世界场景。原创 2024-07-30 22:46:31 · 338 阅读 · 0 评论 -
Holmes-VAD:基于多模态大语言模型的无偏且可解释的视频异常检测( Towards Unbiased and Explainable Video Anomaly Detection)
首先提出了Holmes-VAD方法来解决了目前VAD方法中存在偏差和缺乏解释性的问题,然后构建了VAD-Instruct50k数据集来验证了Holmes-VAD方法的有效性,在构建数据集时引入了高效的标注范式(单帧注释、事件片段生成、时间片段描述)原创 2024-07-27 21:49:59 · 1287 阅读 · 0 评论 -
VANE-Bench:用于对话式大语言模型的视频异常检测评估基准(Video Anomaly Evaluation Benchmark for Conversational LMMs)
本文主要提出了VANE-Bench数据集,它旨在评估Video-LMMs在VAD任务中的表现原创 2024-07-25 00:33:18 · 1024 阅读 · 0 评论 -
基于弱监督学习的视频异常检测与鲁棒时序特征幅度学习(Robust Temporal Feature Magnitude Learning)
提出了RTMF方法,显著提高了对微小异常的辨别能力和样本的使用效率。原创 2024-07-23 21:08:49 · 1108 阅读 · 0 评论 -
不仅看,还要听:弱监督下的多模态暴力检测学习(Learning Multimodal Violence Detection under Weak Supervision)
本文主要研究弱监督下的基于视听两种模态下的大规模暴力检测,大规模是指提出了大规模暴力数据集XD-Violence,并且本文提出的方法可以用在离线检测和实时检测两种方面。原创 2024-07-15 10:30:47 · 1219 阅读 · 0 评论 -
在监控视频中的现实世界异常检测(Real-world Anomaly Detection in Surveillance Videos)
使用弱标记的正常和异常视频数据来训练一个深度MIL框架,是一个视频异常检测的通用模型,并且在新提出的数据集上验证其有效性。并展示了提出的数据集在异常识别任务种的实用性(benchmark)原创 2024-07-12 14:46:59 · 741 阅读 · 0 评论 -
利用大型语言模型进行视频异常检测(Harnessing Large Language Models for Training-free Video Anomaly Detection)
提出LAVAD方法,利用预训练好的LLMs和VLMs来完成视频异常检测,不需要数据收集和模型训练。原创 2024-07-05 20:49:36 · 1438 阅读 · 6 评论