Anomaly/Out-Of-Distribution(OOD) Detection 的常见方法

已于 2022-06-06 18:20:21 修改
阅读量2.2k 收藏 8
点赞数 1
分类专栏： 学习 经验 科研 文章标签： 机器学习 深度学习 人工智能
于 2022-06-05 20:38:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chishuideyu/article/details/125133245
版权
这篇博客探讨了深度学习中异常检测的重要性和应用，重点介绍了两种方法：MSP（最大Softmax概率）和ODIN。MSP利用网络的Softmax层最大概率来区分内分布（ID）和异常分布（OOD）样本，而ODIN则通过热度缩放和样本扰动来增强区分度。这两种方法在多种任务中显示出了有效检测异常的能力，为解决泛化性问题提供了新思路。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

概念

Anomaly Detection or Out-OF-Distribution Detection，异常检测，是从一堆样本中选出被错误分类或在测试集分布以外的样本。这一定义已经早早地出现在异常检测的经典文章，MSP，中。而异常检测作为一种思想已经被应用于很多不同的领域，如物体检测，语义分割，视频异常检测、语音识别等，而通用的异常检测本身近几年也在不断地出现新的方法。由于近几年算法的落地中逐步出现越来越多的泛化性问题，异常检测也被逐渐被人们所关注。我个人理解，异常检测是一种不同于深度学习数据驱动方法的算法思想，可以巧妙地解决实际应用中传统数据驱动方法所难以解决的问题，因此的确有非常大的研究价值。

MSP - Maximum Softmax Probabilities

A Baseline For Detecting Misclassified And Out-Of-Distribution Examples In Neural Networks - ICLR 2017

MSP是异常检测工作中具有里程碑意义的一篇文章，其做法与思想非常简单，就是用网络的Softmax层输出的最大概率（MSP）作为判断样本是否是OOD或Anomaly的依据。如果网络对某样本的分类无法得到明确的结论，会生成各分类类别概率相近的结果，因此对OOD样本，网络偏向于生成较小的MSP，而对于ID（In-distribution）样本，网络偏向于生成较大的MSP。这样一来，便可以用过MSP判断某样本是OOD还是ID。
虽然算法思想很

最低0.47元/天 解锁文章
深度学习论文: PixOOD: Pixel-Level Out-of-Distribution Detection
mingo_敏
10-23 759
PixOOD异常检测算法专注于密集图像预测，无需依赖异常数据样本进行训练，也不针对特定应用场景，从而有效规避了传统训练可能带来的偏差。为了精确建模像素级分布内数据的复杂类内变化，本文创新性地设计了一种在线数据压缩算法。该算法相较于标准的K-means方法展现出更强的鲁棒性，并且能够通过随机梯度下降（SGD）实现便捷的训练。PixOOD作为一种新颖的像素级OOD检测方法，具备高度的通用性，不针对任何特定任务或基准测试进行设计，同时无需任何真实或合成的OOD训练样本（详见第3节）。
异常检测(Out-of-distribution detection\ anomaly detection)相关论文阅读
supergxt的博客
06-17 3390
作者 Terrance DeVries 、Graham W. Taylor 论文原地址：https://arxiv.org/abs/1802.04865 Learning Confidence for OOD detection in NN OOD : where a network must determine whether or not an input is outside of the set on which it is expected to safely perform 提到任何事物都有认知
Out-of-distribution Detection系列专栏（十）
qq_36478718的博客
01-23 4033
OOD Detection系列专栏（十）：Early Layer Features
2024.9 月报：ood综述阅读 + 站点清洁项目
最新发布
aitin6的博客
02-13 1893
学习报告
OOD-detection-using-OECC:具有置信度控制的异常值分布，用于分布外检测
05-05
使用OECC进行OOD检测 该存储库包含纸的的基本代码。 在2021年被Neurocomputing接受为Journal文章。 1.什么是具有信心控制的异常值暴露（OECC）？ 是一种技术，可帮助深度神经网络（DNN）学习如何区分分布内（OOD）数据和分布外（OOD）数据，而无需访问OOD样本。 已经证明该技术可以推广到新的分布。 为了了解如何区分分布内样本和分布外样本，OECC通过在softmax层的输出端产生均匀分布来使DNN对于OOD样本具有高度不确定性。 同时，它还可以对分布样本进行预测，其平均置信度接近其训练精度，即控制其置信度。 在图像和文本分类任务中，使用OE进行OOD检测时，总体OECC损失函数要优于以前的SOTA结果。 此外，我们在中通过实验表明，通过将OECC与SOTA后训练方法（如或结合用于OOD检测，可以在OOD检测任务中获得SOTA结果。 2.可视化OECC背
【Out-of-Distribution Detection】Mixup in NeurIPS 2019、CutMix in ICCV 2019、PixMix in CVPR 2022 个人理解
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
05-19 758
分布外检测（Out-of-Distribution Detection, OOD Detection），测试集中可能出现超出训练集样本分布的样本（可以是来自未知类的样本、被破坏的样本、异常样本等等），要求将这些样本隔离出来。
[转载]Out-of-distribution Detection
wuling129的专栏
03-20 500
算是第一次正经的调研吧，之前就做过论文复现和 “不成功” 的调研。至于为什么不成功呢？主要因为我是0基础的科研小白，所以对调研目的的认知错误。其实在年前做过一次关于 Out-of-distribution 的调研了，但是为什么现在又花了差不多一周的时间重新做了一次呢？因为我一开始调研的目的是了解一下这个领域，看看有没有可以用于我当前方向的方法（我当前的方向比较新，只能从类似的任务中借鉴）。所以，我第一次调研的时候，就直接把OOD的方法和我当前的方向做比较，如果没有什么关联就跳过。实际上这是错误的一种调研。
【Out-of-Distribution Detection】Evidential Deep Learning in NeurIPS 2018 个人理解
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
12-18 1898
核心思想是将分类器的概率输出视为一个狄利克雷分布（Dirichlet Distribution）并替换，之后引入两个损失分别负责保证预测结果准确性和提升被错误分类的样本的不确定性。
Out of Distribution(OoD)检测相关方法综述
蓝鲸鱼的博客
03-17 6719
1. Softmax-based 方法 这类方法利用预训练模型输出的最大 softmax 概率进行统计分析，统计发现 OOD 样本和 ID 样本 softmax 概率的分布情况，试图将二者的分布差距加大，然后选取合适的阈值来判断一个样本属于 OOD 还是 ID。这类方法简单且有效，不用修改分类模型的结构，也不需要训练一个 OOD 样本分类器。 SMOOD提出分类正确的样本会得到更大的maximum softmax概率， 通过预测样本的softmax概率可以有效的检测出 OOD 样本。 ODIN提出使用tem
Generalized Out-of-Distribution Detection: A Survey
布灵布灵
06-04 1145
注意这种方式与信心校准不同，它采用了更温和的T，而校准更关注表达ID样本真实的正确概率，ODIN的评分最大化了ID和OOD样本之间的差异，可能从预测信心的角度看不再有意义。与众不同的是，它产生具有指定置信水平的预测区间，超越了单纯点估计的局限性。在OOD检测的场景中，适形预测框架变得特别有见地：由适形预测方法生成的更宽的预测区间或更低的置信水平可以作为OOD数据的指标。在多类别设定下，典型的OOD检测是开集识别问题（第4节），在类别空间Y中精确分类分布内的测试样本，并且丢弃语义不被Y所支持的分布外样本。
OOD 使用基于提示的特征映射生成用于视频异常检测
ResumeProject的博客
06-09 1920
本文提出了使用的生成式视频异常检测框架，作者来自中山大学，文章发表在cvpr2023作者首先分析了现有方法并指出当前面临的两个问题。
OOD检测：使用MNIST和SVHN的基本分发示例
02-10
OOD检测 使用MNIST和SVHN的基本分发示例
论文阅读【用监督对比学习建模域外检测(OOD Detection) 的 鉴别表示】
anxiaomai520的博客
04-01 1980
用监督对比学习 建模域外检测(OOD Detection) 的 鉴别表示 Modeling Discriminative Representations for Out-of-Domain Detection with Supervised Contrastive Learning
Generalized Out-of-Distribution Detection: A Survey,（OOD）在机器学习的稳定性和安全性领域中，起着至关重要的作用。
Hali_Botebie的博客
10-28 119
论文：Generalized Out-of-Distribution Detection: A Survey地址：https://arxiv.org/abs/2110.11334参考：https://zhuanlan.zhihu.com/p/619694109关于“Out-of-distribution (OOD) 检测”在机器学习系统中的重要性及其与相关领域的关系的概述。
干货！细粒度OOD检测初探
AITIME_HY的博客
06-06 1095
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！OOD检测/开集识别是关于深度学习系统可靠性的重要问题。先前工作大多关注粗粒度的场景而忽视了细粒度情景。细粒度环境中，未知样本可能与已知样本有着极高的视觉/语义相似度。检测这些细粒度未知样本进而变得十分困难。本工作中，我们首先构建了四个大型的针对细粒度OOD检测的测试环境，并发现已有方法对细粒度未知样本检测效果不佳...
简要介绍 | OOD目标检测：背景，研究现状，挑战和未来
NLOS的博客
06-14 2352
随着自监督学习、鲁棒性优化、传递学习和元学习等技术的发展，OOD目标检测的性能有望得到显著提高。通过在源领域学习一个良好的OOD目标检测器，并将其迁移到目标领域，可以在新环境中快速检测出OOD对象。通过自监督学习，可以在没有OOD对象标签的情况下学习OOD对象的表示，从而提高OOD目标检测的性能。由于OOD对象在训练集中没有出现，训练样本的不足使得OOD目标检测面临极大的挑战。通过训练一个元学习模型，可以使模型能够在面对新的OOD对象时，快速适应并提高检测性能。然而，大多数现有的目标检测方法在面对。
OOD论文：Revisit Overconfidence for OOD Detection
choose_c的博客
08-09 1387
重新审视OOD检测的过度自信：基于自适应类相关阈值的重分配对比学习。
CMU&Google提出：条件语言模型中的OOD检测与选择性生成
zenRRan的博客
12-04 417
每天给你送来NLP技术干货！来自：SimpleAI条件语言模型中的OOD检测与选择性生成论文链接：https://arxiv.org/abs/2209.15558作者单位：Google Research，CMU点击这里进群—>加入NLP交流群背景OOD现象和OOD检测在分类任务中已经被广泛研究：OOD score：maximum softmax probability（MSP），K个类别中最...
广义OOD数据检测方法的概念辨析
qq_40479372的博客
01-23 1645
广义OOD检测包含了异常检测（AD）、新颖性检测（ND）、开集识别（OSR）、分布外（OOD）检测和离群点检测（OD）五个子问题
FSSD算法：深度学习中的分布外检测技术
FSSD_OoD_Detection-master表明这是一个存储库的主分支，包含了所有的源代码文件、文档、测试脚本以及可能的示例数据。 【算法实施与评估】: 在该存储库中，实现了FSSD算法以及几种用于对比评估的算法和方法。包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值