【数据集—benchmark】异常检测benchmark/异常检测综述/异常检测baseline

已于 2024-12-03 16:09:20 修改
阅读量976 收藏 17
点赞数 24
分类专栏： 数据集统计以及数据处理 文章标签： 图像处理 python 视觉检测 深度学习 算法
于 2024-12-03 11:20:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45384162/article/details/144208299
版权

介绍

以下几篇论文，有几个功能：

  1. 作为异常检测benchmark
  2. 作为异常检测综述
  3. 作为异常检测baseline实验

异常检测领域benchmark

IM-IAD

  • 论文：https://arxiv.org/pdf/2301.13359
  • 期刊：TCYB
  • 时间：2024
  • 项目：https://github.com/M-3LAB/open-iad
  • 单位：南方科技大学, 腾讯优图, 中科院
  • 介绍：统一的工业AD基准，首次用于评估这些算法执行的效果，其中包括不同级别的监督（无监督与完全监督）、学习范式（few-shot、连续和噪声标签）和效率（内存使用和推理速度）。然后，我们构建了一个全面的图像异常检测基准，其中包括7个具有统一设置的主要数据集上的 19 种算法。AD上的大量实验（总共 17017）提供了对AD算法重新设计或选择的深入见解。
  • 包含数据集：
    MVTec AD，MVTec LOCO-AD ，BTAD，MPDD，MTD ，VisA ，DAGM
    在这里插入图片描述
  • 包含方法：
    在这里插入图片描述
  • 评价指标
    在这里插入图片描述
  • 常见异常检测方案：
    在这里插入图片描述

ADer

  • 论文：https://arxiv.org/pdf/2406.03262v1

  • 期刊：arxiv

  • 时间：2024

  • 项目：https://github.com/zhangzjn/ader

  • 单位：腾讯优图，浙大，华科大

  • 介绍：该基准包括来自工业领域和医学领域的多个数据集，实现了 15 种最先进的方法和9个综合指标。此外，我们开源了gpu辅助的adeval包来解决大规模数据上耗时的mau-pro等指标的缓慢评估问题，显著减少了1000倍以上的评估时间

  • 包含数据集：Mvtec AD , Mvtec AD 3D, Mvtec loco-AD VisA,BTAD, MPDD MAD_real ,MAD_sim,real-iad。uni-medical，coco-ad

  • 常见异常检测方案：
    在这里插入图片描述

  • 测试模型对比结果
    在这里插入图片描述

MMAD

  • 论文：https://arxiv.org/pdf/2410.09453
  • 期刊：arxiv
  • 时间：2024
  • 项目：https://github.com/jam-cc/MMAD
  • 单位：南方科技大学, 腾讯优图, 阿尔伯塔大学, 上交
  • 介绍：MMAD是首个多模态大语言模型工业异常检测基准，通过生成语义标注为所有多模态大模型提供了公平的能力评估。从4个公共数据集中的38类工业产品中收集了8,366个样本，共生成了7个关键子任务中的39,672个选择题。
  • 包含数据集：MVTec AD,MVTec LOCO AD,GoodsAD，ViSA
    在这里插入图片描述
  • 测试模型对比结果
    在这里插入图片描述
    在这里插入图片描述

Anomalib

  • 论文：https://arxiv.org/pdf/2202.08341
  • 期刊：ICIP
  • 时间：2022
  • 项目：https://github.com/openvinotoolkit/anomalib
  • 单位：腾讯优图，浙大，华科大
  • 包含数据：
    image：CIFAR，MVTEC， BTAD，Kolektor；
    video：Shanghai Tec
  • 介绍：考虑到可重复性和模块化，这个开源库提供了来自文献的算法和一组工具，通过即插即用的方法设计自定义异常检测算法。Anomalib包含最先进的异常检测算法，可以在基准测试中实现最高性能，并且可以现成使用。此外，该库还提供了设计定制算法的组件，可以针对特定需求进行定制。其他工具，包括实验跟踪器、可视化器和超参数优化器，使异常检测模型的设计和实现变得简单。该库还支持OpenVINO模型优化和量化，用于实时部署。总的来说，anomalib是一个广泛的库，用于设计、实现和部署从数据到边缘的无监督异常检测模型。
    在这里插入图片描述
    在这里插入图片描述
看论文需要用到的一些专业词汇【SOTA,Benchmark,Baseline】
zik的博客
10-20 2119
那在论文中的实验部分你的方法需要比较的baseline就是BERT，而需要比较的benchmark就是BERT具体的各项指标。SOTA实际上就是State of the arts 的缩写，指的是在某一个领域做的Performance最好的model，一般就是指在一些benchmark的数据集上跑分非常高的那些模型。唯一的区别就是baseline讲究一套方法，而benchmark更偏向于一个目前最高的指标，比如precision，recall等等可量化的指标。
小目标检测综述(7.16-7.23)
weixin_45350432的博客
07-24 1353
尽管深度学习在通用目标检测领域取得了很大进展，但是在小目标方面，由于其尺寸较小，外观和几何信息比较少，并且缺乏大规模的小目标数据集，所以小目标检测依然存在困难和挑战。本文首先介绍了几种常见的小目标检测，多尺度表示(multiscale representation)，上下文信息(contextual information)，超分辨率(super-resolution)和区域建议(region-proposal)。
ICLR 2025 | 多模态大模型能否胜任工业异常检测？MMAD基准揭示真相
最新发布
Paper weekly
02-17 826
本文由南方科技大学、腾讯优图实验室、阿尔伯塔大学、上海交通大学合作完成，已被 ICLR 2025 会议接收。完整论文、数据和代码均已开源。论文标题：MMAD: The First-Ever Comprehensive Benchmark for Multimodal Large Language Models in Industrial Anomaly Detection论文地址：https://...
kddcup_benchmark:此仓库比较了1999 KDDCUP数据集上各种异常检测算法的性能
04-19
描述 KDDCUP99 SF和SA数据集上不同异常检测算法的性能
Registration based Few-Shot Anomaly Detection阅读笔记
qq_43428929的博客
09-23 2681
本文考虑了少镜头异常检测（FSAD），这是一种实用但研究不足的异常检测（AD）设置，其中在训练时仅为每个类别提供有限数量的正常图像。到目前为止，现有的FSAD研究遵循用于标准AD的每类学习范式的一个模型，并且尚未探索类别间的共性。受人类如何检测异常（即将有问题的图像与正常图像进行比较）的启发，我们在这里利用配准，这是一种在类别间具有普遍性的图像对齐任务，作为代理任务，来训练一种类别无关的异常检测模型。在测试过程中，通过比较测试图像及其相应支持（正常）图像的注册特征来识别异常。
ICLR 23 | 工业视觉小样本异常检测最新网络：Graphcore
学姐带你玩AI的博客
06-24 1121
问题设置。图 (c) 概述了所提出的 FSAD 问题设置的正式定义。训练过程仅包含来自特定类别的 n 个正常样本的训练集，其中 n ≤ 8。在测试时，对于给定目标类别中的正常或异常样本，异常检测模型应预测图像是否异常，如果预测结果异常，则定位异常区域。挑战。对于提出的 FSAD，我们尝试仅使用少量正常图像作为训练数据集来检测测试样本中的异常。主要挑战包括：（1）每个类别的训练数据集仅包含正常样本，即没有图像或像素级别的注释。(2) 可用的训练集正态样本很少。在我们提出的设置中，训练样本少于 8 个。动机。
Benchmark——基准测试
m0_73686459的博客
03-02 6110
在大数据领域中，“benchmark”（基准测试）是一个关键概念。 本文将以对进行数据仓库的测试为例阐述Benchmark的基本概念
Registration based Few-Shot Anomaly Detection
Joeyshaw的博客
08-18 4063
目前为止，现有的FSAD研究遵循标准AD使用的每类别一个模型的学习范式，并且尚未探索类别间的共性。受人类如何检测异常的启发，通常将图像与正常图像进行比较，利用配准来训练类别无关的异常检测模型。测试时通过比较测试图像的配准特征和正常图像来识别异常。本文是第一个FSAD方法，训练单个可推广模型，不需要对新类别进行重新训练或微调。比目前方法AUC高3%~8%。异常检测具有广泛的应用，由于异常的定义不明确，不可能用一组详尽的异常样本进行训练。大多数现有的AD方法都集中于为每个类别训练专用模型。......
常规数据集benchmark，baseline的整理（持续更新）
tsq292978891的博客
05-21 4089
一、分类数据集 MNIST CIFAR-10 CIFAR-100 STL-10 SVHN ILSVRC2012 task 1 包含以上数据集的榜单整理：http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html#494c5356524332303132207461736b2...
CVPR 2022 57 篇论文分方向整理 + 打包下载｜涵盖目标检测、语义分割、人群计数、异常检测等方向
极市平台的技术博客
03-10 7524
涵盖目标检测、语义分割、人群计数、异常检测等方向
Benchmark Datasets.rar
06-16
benchmark数据集主要有（全部为.mat格式可以直接使用，label已处理好）：jaffe50_uni,YaleData,ORLData,feret_data,UmistData,AR_ImData,XM2VTS50,MSRA50,MSRA25,Coil20Data,Coil100Data,USPSdata,MnistData，Mpeg7_uni，caltech101，PalmData25，poseData_32，australian，chess_uni，cleve_uni，balance_uni，breast_uni，heart_uni，diabetes，glass_uni，pima_uni。等一共约100份数据集（不一一罗列了!）
benchmark人工生成网络数据集——eclipse版
03-05
benchmark人工数据集，解压后直接导入eclipse中执行即可，带UI界面。
行车记录仪数据集_行人检测数据集(极市平台的补充版)
weixin_39790168的博客
12-24 1597
“极市平台” 已经提供了一些数据集到百度网盘:极市平台：行人检测数据集汇总(持续更新)​zhuanlan.zhihu.com下面这些数据集是“极市平台”尚未收录的：具体描述如下：获取方式：账号注册需审核，注册通过即可下载，共103GB左右。1.ECP_day_img_train.zip 50.2GBECP training images (day) from 31 European cities...
大模型LLM入门到进阶 | 基准测试 Benchmark（二）什么是NLP（自然语言处理）？自然语言处理基准测试
Androiddddd的博客
09-20 1183
NLP使用了统计学、机器学习、深度学习等多种技术，通过处理大量的文本数据和语言规则，从而提取出语义、情感、信息等。
关于Benchmark
weixin_61041845的博客
05-14 4321
什么是benchmark？ 通俗来讲，是基准测试。在计算中，基准是运行一个计算机程序、一组程序或其他操作，以评估一个对象的相对性能的行为，通常通过对其运行一些标准测试和实验。“基准”一词也主要用于精心设计的基准项目本身 基准测试通常与评估计算机硬件的性能特征有关，例如CPU的浮点操作性能，但在某些情况下，该技术也适用于软件。例如，软件基准测试是针对编译器或数据库管理系统运行的。 基准测试提供了一种跨不同芯片/系统架构比较不同子系统性能的方法 测试套件是一种旨在评估软件正确性的系统 ...
IM-IAD：工业制造中的工业图像异常检测基准 | IM-IAD: Industrial Image Anomaly Detection Benchmark in Manufacturing
m0_63828250的博客
03-22 3973
图像异常检测（IAD）是工业制造（IM）领域中新兴且至关重要的计算机视觉任务。最近，许多先进的算法被报道出来，但它们在不同的工业制造环境下的表现有很大的偏差。研究者意识到，缺乏一个统一的工业制造基准正在阻碍IAD方法在真实世界应用中的发展和使用。此外，没有统一基准，研究者很难分析IAD算法。为了解决这个问题，本文首次提出了一个统一的工业制造基准，以评估这些算法的表现，包括不同级别的监督（无监督与全监督）、学习范式（少量样本、持续学习和带噪声标签）和效率（内存使用和推理速度）。
【简单总结】SLAM 算法的 Benchmark 及相关数据集的结果对比
这里是张聪明，正在学习中，请稍后
12-01 1611
主要是copy一下总结，方便自己后续找方案特定使用，所有的出处均在标题处和原链接跳转，此处仅做各个benchmark收集使用，如果有原作者觉得侵权，请联系我 将全力配合相关内容和链接删除如果网友有其他更新的结果推荐，可在评论区留言 我将继续加入；因为年年出结果 肯定会使得一些算法不再sate-of-art，可以点击目录跳转当年最新的 这样比较快。
还不知道？近20+自动驾驶数据集、榜单和Benchmark汇总
CV_Autobot的博客
12-30 2471
作者| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群最近很多小伙伴问到自动驾驶数据集和比赛相关的事宜，也想好好参考下别人的方案和技术栈，今天为大家盘点下常用的几个榜单！1.Nuscenes数据集链接：nuScenesnuscenes数据集下有多个任务，涉及Detection（2D/3D）、Tracking、prediction、激...
NASA MDP 软件缺陷预测数据集
valark的博客
09-19 5426
NASA MDP 软件缺陷预测数据 链接: https://github.com/klainfo/NASADefectDataset. MDP包括13个来自NASA的实际项目。在每一个数据集的开头，会标注项目名称，然后是度量元解释，之后就是数据。 如下图示例： @relation 'CM1' // 项目名称 // 以下为度量元 @attribute LOC_BLANK numeric // 空白行数量 @attribute BRANCH_COUNT numeric // 分支数量 @attribute C
红外线检测行人数据集
12-29
为了进一步推动研究进展并提供统一的标准测试平台，《Multispectral Pedestrian Detection: Benchmark Dataset and Baseline》论文中介绍了一个新的多光谱行人检测基准数据集及其基线方法[^3]。这个新引入的数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值