【论文笔记】【CVPR2022】【异常检测】Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection

已于 2022-03-14 16:17:35 修改
阅读量8.8k 收藏 38
点赞数 13
分类专栏： 计算机视觉 深度学习 异常检测 文章标签： 计算机视觉 深度学习 人工智能
于 2022-03-09 20:06:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44866655/article/details/123385677
版权

[CVPR2022] (SSPCAB)Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection

CVPR 2022
Link: [2111.09099] Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection (arxiv.org)
Code: ristea/sspcab (github.com)

1. Intro

在这里插入图片描述

提出了**self-supervised predictive convolutional attentive block (SSPCAB)，**使用masked 卷积核和channel注意力机制，执行一个重构masked信息的自监督任务用于训练，原始特征经过该block达到增强特征的效果（让特征在正常和异常图上的差异变大，因为只在正常图像上训练）

SSPCAB可以整合到任何CNN架构的任何层中（⭐）

在当前video和image AD的SOTA模型中加入SSPCAB可以提高检测效果。

2. Method

SSPCAB = masked conv layer + Squeeze-and-Excitation (SE) module

Motivation:

现有的CNN框架能提取到一个层次化的特征，从low-level（边、角）到high-level（语义特征，如车轮、鸟头等），但是缺乏一种把这些局部特征整合起来的能力。因此提出SSPCAB进行一个reconstruction自监督学习任务来学习这些局部特征的global structure。使用了dilated masked convolution kernel 和 channel attention module

2.1 Masked convolution

请添加图片描述

一个kernel包含四个sub-kernel，只有这四个sub-kernel参与运算。

每个sub-kernel的大小为 k ’ k’ k’

dilation rate 为 d d d

感受野的中心为 M M M，大小为1

所以，整个kernel大小为 k = 2 k ’ + 2 d + 1 k=2k’+2d+1 k=2k’+2d+1

四个sub-kernal的输出做sum作为M位置（mask）的输出，输出是一个单值
（zero-padding = k ’ + d k’+d k’+d，stride = 1 1 1）

因为通道数为 c c c，所以需要 c c c 个大kernel

输入（ X X X）和输出（ Z Z Z）的维度不变。

2.2 Channel attention module

在这里插入图片描述

对于Masked convolution的输出，想要探究通道之间的关系，施加注意力在更重要的通道上，使用了 Hu e t   a l et\ al et al提出的SE（Squeeze-and-Excitation）module，一种在channel维自适应重新校准的机制（channel attnetion）。

SE相关解读可以阅读：

解读Squeeze-and-Excitation Networks（SENet） - 知乎 (zhihu.com)

Attention module

先对feature map（ z z z）先进行GAP（Globle Average Pooling）： h ∗ w ∗ c → 1 ∗ 1 ∗ c h*w*c→1*1*c h∗w∗c→1∗1∗c

再经过两个FC，第一个加ReLU，第二个加sigmoid，先降维再升维度（ c → c / r → c c→c/r→c c→c/r→c ）得到一组channel attention权重。

再将该权重加载原始feature map的各个通道上输出（ s s s），保持输入输出维度不变。
在这里插入图片描述

在这里插入图片描述

2.3 Reconstruction loss

使用自监督学习方法重构masked区域来训练block

重构结果和目标计算MSE作为loss

在这里插入图片描述

总loss为模型原始loss L F L_F LF​加 L S S P C A B L_{SSPCAB} LSSPCAB​

在这里插入图片描述

3. Experiment

3.1 在Avenue数据集上调参

后续实验选择： k ’ = 1 k’=1 k’=1， d = 1 d=1 d=1， MSE Loss，Attention module中 r = 8 r=8 r=8，使用channel attention module

在这里插入图片描述

3.2 Image AD

dataset：MVTec-AD

在DRAEM和CutPaste上加入SSPCAB进行实验，结果有所提高。

但不是SOTA。

在这里插入图片描述

在这里插入图片描述

3.3 Video AD

dataset：Avenue & ShanghaiTech

SOTA

在这里插入图片描述

3.4 Inference Time

在这里插入图片描述

4 Ablation

4.1 将SSPCAB放在网络的不同置

结论：放在后面好一点

在这里插入图片描述

4.2 使用不同大小的mask M

结论：没啥区别

在这里插入图片描述

5 Limitation

将SSPCAB放在靠近输入的位置没啥效果

Merengue_l
关注
  • 13
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Pointnet++改进即插即用系列：全网首发SSPCAB自监督预测卷积关注块|即插即用，提升特征提取模块性能
m0_51530640的博客
05-22 103
异常检测通常是一个单类分类问题，模型只能从正常的训练样本中学习，同时对正常和异常的测试样本进行评估。在成功的异常检测方法中，一类特殊的方法依赖于预测被掩盖的信息(如补丁、未来帧等)，并利用与被掩盖信息相关的重建误差作为异常评分。与相关方法不同，我们提出将基于重建的功能集成到一种新的自监督预测架构构建块中。所提出的自监督块是通用的，可以很容易地结合到各种最新的异常检测方法中。我们的区块从一个带有扩展过滤器的卷积层开始，其中接受野的中心区域被掩盖。产生的激活图通过一个通道注意模块传递。
[CVPR 2018论文笔记] 真实监控场景中的异常事件检测
Will Lin的博客
06-03 1万+
安防作为近年最热门的计算机视觉研究落地方向，与视频分析研究有着很紧密的关系。在真实的监控视频中，一个常见的需求就是要自动识别视频流中的异常事件，也就是异常事件检测任务（Anomaly detection)。 这个任务有许多的难点，比如 异常事件发生的频率很低，导致数据的收集和标注比较困难； 异常事件的稀少导致训练中的正样本远少于负样本； 在监控场景中，不管是通常（normaly）还是异常（a...
【飞桨论文复现-异常检测】SSPCAB
m0_63642362的博客
08-13 1415
基于飞桨深度学习框架搭建异常检测模型，复现论文 《Self-Supervised Predictive Convolutional Attentive Block》
【视频异常检测】Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection 论文阅读
weixin_44609958的博客
12-08 1084
异常检测通常被视为一种单类别分类问题，模型仅从正常训练样本中学习，但在评估时要处理正常和异常的测试样本。在成功的异常检测方法中，有一类方法侧重于预测遮蔽信息（例如补丁、未来帧等），并利用相对于遮蔽信息的重建误差作为异常得分。与相关方法不同，我们提出将基于重建的功能集成到一种新型的自监督预测性架构模块中。这个自监督模块是通用的，可以轻松地集成到各种最先进的异常检测方法中。我们的模块从具有扩张滤波器的卷积层开始，其中感受野的中心区域被遮蔽。产生的激活图通过通道注意模块。
【异常检测-论文阅读】（CVPR 2022）Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection
小菜鸡的学习记录
08-10 3225
引入了一种新的神经块SSPCAB（Self-Supervised Predictive Convolutional Attentive Block），该神经块由一个掩码卷积层和一个通道注意模块组成，用于预测卷积接受域中的一个掩码区域。
【论文精读】2022_CVPR_Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection
qq_41954153的博客
05-16 2331
Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection
【论文笔记】【CVPR2022】【异常检测】 Anomaly Detection via Reverse Distillation from One-Class Embedding
热门推荐
weixin_44866655的博客
03-13 1万+
[CVPR2022] Anomaly Detection via Reverse Distillation from One-Class Embedding CVPR 2022 Link: [2201.10703] Anomaly Detection via Reverse Distillation from One-Class Embedding (arxiv.org) Code: none 1. Intro 提出一个新颖的知识蒸馏框架：Teacher Encoder + Student Decod
CVPR 2023 | 多样性可测量异常检测（DMAD）
学姐带你玩AI的博客
09-03 367
两个版本的多样性可测量异常检测框架。多尺度金字塔变形场估计为 O ，反向过程为。a） PDM版本计算重建后的正向变形 O。b） PPDM版本采用循环一致的前后变形，并且向前变形应用于输入。
A Self-supervised Approach for Adversarial Robustness.pdf
10-19
本文总结了A Self-supervised Approach for Adversarial Robustness论文的要点，该论文发表于CVPR会议，主要讨论了深度神经网络（Deep Neural Network，DNN）对抗攻击的鲁棒性问题。 深度神经网络对抗攻击的威胁 ...
3D Packing for Self-Supervised Monocular Depth Estimation.pdf
10-19
CVPR论文
A-Convolutional-Neural-Network-Cascade-for-Face-Detection:TensorFlow实现“用于面部检测的卷积神经网络级联”，CVPR 2015
05-17
用于人脸检测的卷积神经网络级联 此回购是TensorFlow中重新实现。 开始 准备资料 下载AFLW数据集（正）和COCO数据集（负）进行训练。 可以使用任何其他数据集代替负数的COCO数据集。 下载FDDB数据集进行测试。 在...
CVPR 2022 Tutorial Denoising Diffusion-based Generative Model
11-11
由CVPR、NVIDIA、Google AI等组织分享的技术文章，主要基于扩散模型的生成技术，内容包括基础和应用。 页数：全文共有188页。 全称：Denoising Diffusion-based Generative Modeling: Foundations and Applications ...
Awesome-Self-Supervised-Papers:自我监督学习纸银行
03-20
很棒的自我监督论文 收集有关自我监督学习，表征学习的论文。 最近更新：2021. 03. 12。 更新2月，3月发表的论文 任何贡献，欢迎发表评论。 计算机视觉（CV） 预训练/功能/表示 对比学习 会议/期刊 纸 ImageNet Acc...
【CVPR 2023】高分辨率异常检测PyramidFlow-训练并推理-附bug调试
一个努力写代码的小菜鸟，目前主要从事图像算法，目标检测/分割，模型量化与部署的工作
08-22 985
首先，我们需要把我在一中提到的代码先git clone到我们的项目路径中，这是我们接下去的训练代码，当然其中也包括了验证和测试（推理过程也包含在内部了，需要自己写一小部分）。drop_last: dataset中的数据个数可能不是batch_size的整数倍，drop_last为True会将多出来不足一个batch的数据丢弃。PyramidFlow的环境，作者已经在Readme中给出，按照里面的版本pip install即可，如果下载速度过慢，可以。进入训练代码的链接后，点击作者头像，如图所示。
（2022） 异常检测新任务《Anomaly Clustering: Grouping Images into Coherent Clusters of Anomaly Types》
要相信光
01-21 6252
谷歌云AI Research团队2022异常检测新工作
一文看尽 6篇 CVPR2021 2D 异常检测论文
极市平台的技术博客
07-19 3967
本文首发于极市平台，作者：刘冰一，转载须经授权并注明来源 6月25日，CVPR 2021 大会圆满结束，随着 CVPR 2021 最佳论文的出炉，本次大会所接收的论文也全部放出。CVPR2021 共接收了 7039 篇有效投稿，其中进入 Decision Making 阶段的共有约 5900 篇，最终有 1366 篇被接收为 poster，295 篇被接收为 oral，其中录用率大致为 23.6%，略高于去年的 22.1%。 CVPR 2021 全部接收论文列表： https://openaccess.th
【论文笔记】【CVPR2020】【异常检测 】Uninformed Students: Student–Teacher Anomaly Detection
weixin_44866655的博客
03-03 5907
【论文笔记】【异常检测】Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings
【视频异常检测】-Supervised Masked Convolutional Transformer Block for Anomaly Detection 论文阅读
最新发布
weixin_44609958的博客
12-11 1036
该文提到了一类成功的异常检测方法，它们基于学习对被屏蔽的正常输入（例如，补丁、未来帧等）进行重构，并将重构误差的幅度作为异常程度的指示器。文中提出了一种新颖的自监督掩蔽卷积变换块（SSMCTB），在核心架构层面包含了基于重构的功能。该自监督块非常灵活，可以在神经网络的任何层级进行信息掩蔽，并与各种神经架构兼容。文章将之前的自监督预测卷积注意块（SSPCAB）扩展为具有3D掩蔽卷积层、通道注意的Transformer以及基于Huber损失的新型自监督目标。
CVPR 2022 | 利用域自适应思想，北大、字节跳动提出新型弱监督物体定位框架
Paper weekly
03-20 644
©作者|朱磊来源|机器之心将弱监督物体定位看作图像与像素特征域间的域自适应任务，北大、字节跳动提出新框架显著增强基于图像级标签的弱监督图像定位性能。物体定位作为计算机视觉的基本问题...
cvpr2022目标检测
04-28
CVPR2022是计算机视觉及模式识别领域的顶级会议之一，目标检测是其中一个重要的研究方向。目标检测是计算机视觉领域中的一个基础性问题，涉及到在给定图像或视频中找到特定类型的目标物体。在过去的几年里，深度学习技术的逐步发展和推广，成功地解决了许多传统方法所面临的问题，并在目标检测领域取得了非常显著的进展。 CVPR2022目标检测的研究方向主要包括但不限于以下几个方面：一是针对复杂场景下目标检测的挑战，如光照变换、遮挡、多目标检测等，研究如何通过改进算法提高检测精度。二是针对嵌入式计算和边缘计算设备的目标检测进行研究，致力于实现高效的硬件加速和算法优化，实现快速且可靠的目标检测。三是针对深度学习网络的可解释性和鲁棒性进行研究，探索如何通过解释已有模型的预测、发现模型中的薄弱点以及增强模型的鲁棒性来提高模型的可靠性和实用性。 总之，CVPR2022目标检测的研究方向涉及到多个前沿的科技领域。CVPR2022将有众多优秀的专家学者参与，他们将在各自的研究领域中不断探索创新的算法和方法，并带来更多的突破性成果。这些成果将不仅对目标检测领域有重要的推动作用，同时也将影响计算机视觉和人工智能等领域的未来发展方向。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值