EdgRec(Reconstruction from edge image combined with color and gradient difference)

最新推荐文章于 2024-10-17 01:35:52 发布
最新推荐文章于 2024-10-17 01:35:52 发布
阅读量294 收藏 4
点赞数
分类专栏： 异常检测 文章标签： 计算机视觉 深度学习 人工智能 视觉检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35623400/article/details/129814256
版权
该论文提出了一种基于无监督学习的异常检测框架，利用图像重建技术。在训练阶段，通过DRAEM和Cutpaste技术生成伪异常图像，并提取边缘信息。采用UNet型的编码器-解码器网络进行重建，目标是使重建图像接近原始图像。在测试阶段，通过比较原始图像和重建图像的色差及梯度差异来识别异常。实验在MVTec数据集上表现出色，证明了方法的有效性。
摘要由CSDN通过智能技术生成

这篇论文介绍了一种基于无监督的图像重建的异常检测结构

这张图是它的一个主要结构，首先在训练阶段，输入一张正常图像I，然后通过伪异常图像生成技术得到IA，然后将其转换为灰度图IgA，提取边缘信息得到IeA，之后输入到重建网络中。它们的这个网络采用的是基于UNet型的编码器-解码器网络。训练阶段的目标是使重建图像IR尽可能接近I
在这里插入图片描述

在测试阶段，提取输入图像的灰度边缘Ie，通过重建网络生成RGB图像IR，然后用比较函数对两张图像对比以得到异常图像A

接下来这张图展示了伪异常图像的生成和边缘图像的提取。首先是伪异常图像，对于局部来说，这里他用了DRAEM里的技术来模拟异常，异常纹理来自外部数据集DTD。对于全局来说，它使用了Cutpaste技术破坏图像，然后在训练过程中，作者以一定的概率去激活这两种之一。然后将损坏的图像转换为灰度图
在这里插入图片描述

对于边缘图像的获取来说，作者使用了3x3的卷积核来分别进行形态学上的膨胀和腐蚀，然后进行相减来获得边缘图像

然后是关于重建网络，作者说对于异常检测来说，添加跳跃连接是有风险的，因为这些浅层编码特征可以直接传输到最终解码层，这增加了模型生成身份图的风险，但是由于他们的编码特征和解码的内容非常不同，输入是灰度边缘图，输出是RGB图，然后根据实验结果看来，他们发现使用跳跃连接可以提高他们的性能。
在这里插入图片描述

接下来作者他们设计了一个异常评估函数来比较原始图像和重建图像。这个函数考虑了色差和梯度差异。
在这里插入图片描述

对于色差来说，他们将原始图像和重建图像转换成CIELAB颜色空间，它由三部分组成，L为感知的亮度，a和b代表人类视觉的四种独特颜色。然后这个是它的色差函数，Ir是重建图像，I是原始图像，fmean用来平滑最终结果
在这里插入图片描述

对于梯度差异，他们使用了多尺度梯度幅度相似性，也就是这个MSGMS，MSGMS通过图像金字塔计算原始图像和重建图像在不同尺度上的梯度幅度相似性，然后取平均值，fmean用来平滑结果最后的评估函数由这两部分组成。

下边是他们使用不同的评估函数的一个效果图。
在这里插入图片描述

最后就是他们在MVTec上的实验结果，上边是图像级的，下边是像素级的，然后作者他们的实验结果在最右边，从结果来看，整体效果还是不错的。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这是他们的一个检测效果图，左边是输入图像，然后重建图像，异常图像，最后是groudtruth
在这里插入图片描述

wo42ge
关注
专栏目录
reconstruction from wavelet.zip_2D-wavelet_image reconstruction_
07-15
标题中的"reconstruction from wavelet.zip_2D-wavelet_image reconstruction_"揭示了主题涉及的是基于小波变换的二维图像重建技术。在这个领域，小波分析是一种强大的数学工具，用于信号和图像处理，尤其是在压缩和...
【图像修复】inpainting论文阅读（一）2016-2019
qq_46119062的博客
03-21 1147
inpainting2016-2019文献阅读笔记
【图像修复】----论文阅读笔记《EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning》
番茄炒蛋三分糖
09-29 2854
文章提出了一种两阶段对抗性模型EdgeConnect，包括边缘生成器和图像完成网络。边缘生成器使图像的缺失区域（规则和不规则）的边缘产生幻觉，并且图像补全网络使用幻觉边缘作为先验填充缺失区域。并在公共可用的数据集CelebA、Places2和巴黎街景上对模型进行了端到端的评估。端到端：端到端指的是输入是原始数据，输出是最后的结果。以前输入端不是直接的原始数据，而是在原始数据中提取的特征。将图像修复分为两个阶段：边缘生成和图像完成。边缘生成仅关注缺失区域中的假想边缘。
【Deep Learning for Unsupervised Anomaly Localization in Industrial Images: A Survey】
小菜鸟
12-02 328
AL也称为异常分割，无监督方法（原文第一节没说为什么）；–AD异常分类，无法解释合理性；AL：“无监督”或“半监督”，AL 的目标是仅使用无缺陷的训练样本来查找异常区域；另一方面，AL也称为异常分割，用于产生像素级的异常定位结果。异常热图中的颜色越深，该位置越有可能出现异常。AD：异常值检测或一类分类；它是指在图像级别将有缺陷的图像与大多数无缺陷图像区分开来的任务。目前，在监督学习方法的帮助下，基于深度学习的视觉检测已经取得了巨大成功。
[论文笔记] Coloring Embedder
iroy33的博客
12-08 427
不负责任地说一句，我的博客中会有很多帮助自己理清思路的乱七八糟的东西。 文章目录问题背景prior Arts and limitationsexact-match data structureProbabilistic Data Structure细节查询算法实现RDG上色算法RDG更新算法两个以上的sets的更新算法方案1构造coded coloring embedder查询One Memory...
【视频异常检测-论文阅读】Learning Not to Reconstruct Anomalies
小菜鸡的学习记录
09-15 778
为了缓解上面提到的问题，我们提出了一种新的方法来训练AEs，目标是只重建正常数据，而不管输入（即正常或异常）。 一种基于伪异常的新方法，该方法只鼓励正常数据重建，以在OCC设置中训练AEs 提出两种类型的伪异常，基于patch and skip frame，以模拟异常
Reconstruction from Multispectral to Hyperspectral Image using Spectral Library based Dictionary Learning
02-07
High-spatial hyperspectral (HH) image reconstruction using both high-spatial multispectral (HM) image and low-spatial hyperspectral (LH) image over the same scene is widely used in many real ...
A relaxation method to articulated trajectory reconstruction from monocular image sequence
02-09
本文提出了一种新颖的方法，用于从单目图像序列中重建关节轨迹（articulated trajectory）。这一方法构建了一个基于松弛（relaxation）的目标函数，整合了平滑性和几何约束（geometric constraint），将关节轨迹重建...
A Weighted Color MRF Model for 3D Reconstruction from a Single Image
02-10
标题中提到的"A Weighted Color MRF Model for 3D Reconstruction from a Single Image"指的是一个加权彩色马尔科夫随机场（MRF）模型，用于从单一图像中进行三维重建。在三维重建领域，从单个二维图像获取三维信息...
ch4.rar_image reconstruction_microwave image_microwave imaging
09-23
标题中的"ch4.rar_image reconstruction_microwave image_microwave imaging"揭示了这是一个关于图像重建技术在微波成像领域的专题。"image reconstruction"是指图像重建技术，而"microwave image"和"microwave ...
【论文笔记】Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection*
m0_61899108的博客
06-21 2051
本文讨论了开放集监督的异常检测，其中我们使用异常实例学习检测模型，目的是检测已见的异常（"灰天鹅"）和未见的异常（"黑天鹅"）。
双目视觉搭配YOLO实现3D测量
weixin_45303602的博客
10-13 937
双目（Stereo Vision）技术是一种利用两个相机来模拟人眼视觉的技术。通过对两个相机获取到的图像进行分析和匹配，可以计算出物体的深度信息。双目技术可以实现物体的三维重建、距离测量、运动分析等应用。双目技术的原理是通过两个相机之间的基线距离来计算出物体的深度。当两个相机捕捉到的图像中存在物体时，它们会分别捕捉到该物体的两个视角。通过计算两个视角之间的差异，可以得到物体的深度信息。YOLO（You Only Look Once）是一种目标检测算法。
目标检测系统中需要【重新训练模型】说明
2401_85556416的博客
10-13 486
打开"ultralytics\cfg\datasets\SODA10M.yaml"文件。将SODA10M.yaml的第一行数据集路径修改为自己数据集路径。以【基于YOLOv8的车辆行人目标检测系统】训练为例进行说明。训练模型的权重保存路径在"runs\detect\train\weights"目录下。给出的项目中已包含训练好的模型以及训练的结果，可直接使用。（3）运行main_model_train.py程序。（1）如果环境还没有搭建好的，首先要搭建训练环境。（4）训练模型保存路径。
目标检测系统操作说明【用户使用指南】（python+pyside6界面+系统源码+可训练的数据集+也完成的训练模型）
2401_85556416的博客
10-13 902
方法一：如果想更换检测界面的图标，可以打开"system_utils\icons"目录下，找到对应图标的图片文件，用自己图片的替换即可（注意图片名要一样）方法二：打开"system_utils\style"目录下的两个.yaml文件，找到当前图标路径，替换为自己的图标路径。
卷积神经网络（CNN）-Padding介绍
jianqimingtian的博客
10-13 1123
卷积神经网络（CNN）-Padding介绍
论文精读：多源域自适应目标检测中的目标相关知识保存（CVPR2022）
最新发布
m0_63294504的博客
10-17 1312
领域自适应目标检测（DAOD）是一种很有前途的方法，可以缓解检测器在新场景下的性能下降。尽管在单源域适应方面做出了巨大努力，但由于组合过程中的知识退化，具有多个源域的更通用的任务仍未得到很好的探索。为了解决这个问题，作者提出了一种新的无监督多源DAOD方法，即目标相关知识保存（target relevant knowledge preservation，TRKP）。具体而言，TRKP采用师生框架，构建多头教师网络，从已标记的源域数据中提取知识，引导学生网络学习未标记的目标域的检测器。
目标检测系统【环境详细配置过程】（CPU版本）
2401_85556416的博客
10-13 924
（如果你使用的是笔记本电脑，没有比较好的GPU，可以配置CPU运行环境）
100多种【基于YOLOv8/v10/v11的目标检测系统】目录（python+pyside6界面+系统源码+可训练的数据集+也完成的训练模型）
2401_85556416的博客
10-13 383
待更新...............................................................................
vae与ae的区别
ningyanggege的博客
10-13 951
为了更好地理解变分自编码器（VAE）和自编码器（AE）的区别，让我们通过一个具体的例子来说明。假设我们正在处理一个手写数字图像数据集，如 MNIST。
Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach主要内容
07-15
《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文的主要内容是介绍了一种基于单个图像的准确三维人脸重建方法，其采用了一种全面的方法来捕捉人脸的几何形状和纹理信息。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值