论文解读：DiAD之SG网络

已于 2024-08-02 11:07:51 修改
阅读量1k 收藏 8
点赞数 12
分类专栏： MyDiffusion 文章标签： python pytorch diffusion
于 2024-07-25 10:24:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37737957/article/details/140495214
版权

目录

一、SG网络功能介绍

DiAD论文最主要的创新点就是使用SG网络解决多类别异常检测中的语义信息丢失问题，那么它是怎么实现的保留原始图像语义信息的同时重建异常区域？

与稳定扩散去噪网络的连接： SG网络被设计为与稳定扩散（Stable Diffusion, SD）去噪网络相连接。SD去噪网络本身具有强大的图像生成能力，但可能无法在多类异常检测任务中保持图像的语义信息一致性。SG网络通过引入语义引导机制，使得在重构异常区域时能够参考并保留原始图像的语义上下文。整个框架图中，SG网络与去噪网络的连接如下图所示。
在这里插入图片描述在这里插入图片描述
这是论文给出的最终输出，我认为图中圈出来的地方有问题，应该改为SG网络的编码器才对。

语义一致性保持： SG网络在重构过程中，通过在不同尺度下处理噪声，并利用空间感知特征融合（Spatial-aware Feature Fusion, SFF&#x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
mm_exploration
关注
  • 12
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
Diffusion Model相关论文解析之(十)DiAD A Diffusion-based Framework for Multi-class Anomaly Detection
m0_37737957的博客
07-15 320
语义引导网络（SG网络）： 提出了SG网络，用于在保留原始图像语义信息的同时重建异常区域。该网络通过引入语义引导机制，解决了现有扩散模型（如LDM）在多类别异常检测中的语义信息丢失问题。 空间感知特征融合块（SFF块）： 引入了SFF块，以在处理大量重建区域时最大限度地提高重建精度。SFF块通过整合不同尺度的特征，实现了对原始正常样本信息的保留和大规模异常区域的重建。 多尺度特征提取与异常评分： 使用预训练的特征提取器对输入图像和重建图像进行处理，根据不同尺度提取的特征生成异常图。通过计算重建图像和输入图像
PaddlePaddle实践之论文复现
michael_17的博客
08-07 428
最近在AI studio参加论文复现的课程（https://aistudio.baidu.com/aistudio/education/group/info/1340），收获很大，主要有以下几点： 1. 对CNN网络的搭建，及参数计算有了更深的了解，也亲手计算每层的参数，然后亲手搭建了一个网络 2. GPU使用的经验积累了不少 3. 对GAN网络和深度学习的概念有了全新的认识与了解，解决了自己之前的一些疑问。 非常好的比赛，非常好的课程，希望自己能够坚持到最后。 ...
AAAI2024 基于扩散模型 多类别 工业异常检测 DiAD
黎国溥
05-28 1871
本文分享一个基于扩散模型的多类别异常检测框架，用于检测工业场景的缺陷检测或异常检测。设计SG语义引导网络，在重建过程中有效保持输入图像的语义信息，解决了LDM在多类别异常检测中的语义信息丢失问题。高效重建，通过在潜在空间中进行扩散和去噪操作，增强了模型在处理复杂结构和大规模缺陷时的重建能力。同时分析基础扩散模型DDPM和LDM，对比设计原理和效果。
DiAD代码逐行理解之Attention
m0_37737957的博客
07-26 727
一、代码中的AttentionBlock类 二、代码中的QKVAttention 类和QKVAttentionLegacy类
DiAD代码逐行理解之TimestepBlock 和 TimestepEmbedSequential
m0_37737957的博客
08-02 374
TimestepBlock 和 TimestepEmbedSequential，它们都是用于神经网络模型中的组件，特别是与时间序列数据或需要时间步嵌入（timestep embeddings）的模型相关。这些类通过继承PyTorch的nn.Module类来实现，使其能够作为神经网络中的一层或多层被使用。
（自用）DiAD（Diffusion-based Anomaly Detection）
Sylvia_7102的博客
06-26 2080
以下很多内容出自这个大佬，我只是想按我自己的理解整合一下。自用整理保存，转载商用请联系原博主！AAAI2024 基于扩散模型 多类别 工业异常检测 DiAD_diad reconstruction-CSDN博客提出了一种基于扩散模型的多类别异常检测框架DiAD（Diffusion-based Anomaly Detection）。其核心方法旨在解决在复杂多类别环境中，异常检测时如何保持图像类别和像素级结构完整性的挑战。
TRMF 辅助论文：最小二乘法复现TRMF
qq_40206371的博客
11-09 1150
1 目标函数（总） 1.1 求解W 我们留下含有W的部分： 然后对wi求导 线性代数笔记：标量、向量、矩阵求导_UQI-LIUWJ的博客-CSDN博客 而是一个标量，所以放在xi的左边和右边没有影响 所以 也即： 对应的代码如下：（假设sparse_mat表示 观测矩阵） from numpy.linalg import inv as inv for i in range(dim1): #W矩阵的每一行分别计算 pos0 = ...
论文阅读笔记《SuperGlue:Learning Feature Matching with Graph Neural Networks》
深视
08-25 2574
核心思想   本文提出一种基于图神经网络的特征点匹配方法，把图像中的特征点看作图的节点，通过注意力机制聚合特征信息，得到用于匹配的特征向量。然后把匹配问题看作一个可微的最优运输问题（differentiable optimal transport problem），利用Sinkhorn Algorithm算法进行求解。整个算法的处理流程如下图所示   首先，输入是两幅图像中特征点的位置坐标piAp_i^ApiA​和piBp_i^BpiB​，以及特征点对应的特征描述向量diAd_i^AdiA​和diBd_i
DiAD~
whaosoft143ai的博客
12-16 105
然而如下图1所示，直接将扩散模型应用于多类异常检测会存在几点问题：对于DDPM来说，应用于多类异常检测会出现类别错误的情况，因为在加入1000步噪声后，图像已变成随机高斯噪声，因为没有其他限制条件，DDPM在去噪过程中从随机高斯噪声中去噪最终获得随机类别的图像。第一个基于扩散模型的多类异常检测工作。一般的单类异常检测算法分别为不同类别的物体训练不同的模型，非常消耗内存，并且也不适用于正常样本表现出大的类内多样性的情况，本文作者致力于用统一的框架从不同的物体类别中检测异常。图2：DiAD模型框架。whao
python12 中，No module named‘distutils‘错误
qq_43557600的博客
08-27 9115
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 8666
centos7 安装 superset4.0.2 教程
【python计算机视觉编程——1.基本的图像操作和处理】
热门推荐
m0_53694086的博客
08-26 1万+
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
【python】关于判断空值None、判断len()=0，和 if not 的区别
Meggie35的博客
08-28 4561
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
使用 DrissionPage 和 2Captcha 处理 Turnstile 验证并获取 Faucet 签名
最新发布
qq_41631913的博客
08-30 310
本教程介绍了两种获取 Cloudflare Turnstile 验证值并使用 faucet 签名 API 的方法。第一种方法通过 DrissionPage 模拟浏览器操作，手动获取验证码值。第二种方法则通过 2Captcha 服务，自动化解决验证码问题。
yolo7 自定义数据训练
hzh839900的专栏
08-27 603
数据定义文件train.txt val.txt。预定义标签 格式name label。数据集定义文件errimg.yaml。图片文件和标签文件放在一起。数据打标labelimg。
无法验证 Anaconda 仓库证书
qq_38332453的博客
08-28 150
无法验证 Anaconda 仓库的证书
并行计算的艺术：PyTorch中torch.cuda.nccl的多GPU通信精粹
2401_85763639的博客
08-27 647
是PyTorch提供的一个用于多GPU通信的API，它基于NCCL库，专门针对NVIDIA GPU优化，支持高效的多GPU并行操作。NCCL提供了如All-Reduce、Broadcast等集合通信原语，这些操作在多GPU训练中非常关键。
人工智能开发实战机器学习算法解析
sinat_30844883的博客
08-29 2484
机器学习算法是人工智能领域的重要组成部分，它们通过从数据中学习并自动改进，而无需进行显式的编程。机器学习算法可以分为多种类型，包括监督学习、无监督学习、半监督学习、迁移学习和强化学习。每种类型都有其特定的应用场景和优势。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值