计算机视觉——图像修复综述篇

已于 2024-10-03 12:53:14 修改
阅读量1.2k 收藏 29
点赞数 20
分类专栏： 计算机视觉 文章标签： 计算机视觉 人工智能
于 2024-10-03 12:45:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51175703/article/details/142690332
版权

目录

1. Deterministic Image Inpainting 判别器图像修复

1.1. sigle-shot framework

(1) Generators

(2) training objects / Loss Functions

1.2. two-stage framework

2. Stochastic Image Inpainting 随机图像修复

2.1. VAE-based methods

2.2. GAN-based methods

2.3. Flow-based methods

2.4. MLM-based methods

2.5. Diffusion model-based methods

3. text-guided image inpainting ⽂本引导的图像修复

4. Inpainting Mask 掩码机制

(1) regular mask

(2) irregular mask

5. Loss Function 损失函数

6. Dataset 图像修复领域数据集

(1) faces(CelebA & CelebA-HQ)

(2) real-world encountered scenes(Places2)

(3) street scenes(Paris)

(4) texture(DTD)

(5) objects (ImageNet)

7. Evaluation Protocol 评估指标

7.1. pixel-aware metrics

7.2. (human) perception-aware metriics

8. Performance Evaluation 表现评估

8.1 Representative Image Inpainting Methods

8.2 Loss Functions 

9. Inpainting-based Application 基于图像修复的领域应⽤

(1) Object Removal

(2) Text Editing

(3) Old Photo Restoration

(4) Image Compression

(5) Text-guided image editing

Reference

1. Deterministic Image Inpainting 判别器图像修复

1.1. sigle-shot framework
(1) Generators
1) mask-aware design
2) attention mechanism
3) multi-scale aggregation
4) transform domain
5) encoder-decoder connection
6) deep prior guidance
(2) training objects / Loss Functions
1) Pixel-wise reconstruction loss
2) perceptual loss
3) style loss
4) adversarial loss
5) prevalent training objectives
1.2. two-stage framework
(1) coarse-to-fiine methods
(2) structure-then-texture methods

2. Stochastic Image Inpainting 随机图像修复

2.1. VAE-based methods
2.2. GAN-based methods
2.3. Flow-based methods
2.4. MLM-based methods
2.5. Diffusion model-based methods
(1) sample stratage design
(2) computational cost reduction

3. text-guided image inpainting ⽂本引导的图像修复

4. Inpainting Mask 掩码机制

(1) regular mask
(2) irregular mask

5. Loss Function 损失函数

同1-1.1-(2) training objects

6. Dataset 图像修复领域数据集

(1) faces(CelebA & CelebA-HQ)
(2) real-world encountered scenes(Places2)
(3) street scenes(Paris)
(4) texture(DTD)
(5) objects (ImageNet)

7. Evaluation Protocol 评估指标

7.1. pixel-aware metrics

focus on the precision of reconstructed pixels

(1) l1 error
(1) l2 error
(3) PSNR(peak signal-to-noise ratio)
(4) SSIM(the structure similarity index)
(5) MS-SSIM(muti-scale SSIM)
7.2. (human) perception-aware metriics

the visual perception quality

(1) FID(Frechet Inception diistance)
(2) LPIPS(learned perceptual image patch similarity)
(3) P/U-IDS(pair-unpair Inception discriminative score)

8. Performance Evaluation 表现评估

8.1 Representative Image Inpainting Methods
(1) Models: RFR, MADF, DSI, CR-Fill, CoModGAN, LGNet, RePaint
(2) Dataset: CeleBA-HQ, Places2
(3) Mask: M1, M2, M3, M4, M5, M6
(4) Metrics: l1, PSNR, SSIM, MS-SSIM, FID, LP-IPS
(5) Loss: pixes reconstruction loss, perceptual loss, resnetpl loss, style loss, stylemeanstd,
percept-style loss, lsgan
8.2 Loss Functions 

同1-1.1-(2) training objects

9. Inpainting-based Application 基于图像修复的领域应⽤

(1) Object Removal
(2) Text Editing
(3) Old Photo Restoration
(4) Image Compression
(5) Text-guided image editing

Reference

1. Deep Learning-based Image and Video Inpainting: A Survey

计算机视觉论文总结系列（二）：图像分割篇
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-29 7067
本系列主要面向计算机视觉目标检测、图像分割及OCR等领域论文总结，每章将分别从最新方法、开源框架、模型、等方面展开介绍，主要面向深度学习CV方向同学学习，希望大家能够多多交流，欢迎订阅本专栏，如有错误请大家在评论区指正，如有侵权联系删除。
图像修复方法研究综述----论文笔记
番茄炒蛋三分糖
06-28 3163
图像修复方法研究综述对象移除修复图像图片修饰文字移除“根 据修复思想的不同，它可以被分为基于偏微分方程 (Partial Differential Equation，PDE)的图像修复方法 和基于样本的图像修复方法。”（1）基于偏微分方程的方法“利用数学或物理学中的偏微分方 程，将图像已知区域像素平滑传播到缺失区域中以 修复破损图像。” （2）基于样本的图像修复方法“基于样本的图像修复方法通过计算并搜索破 损图像缺失区域与已知区域相似度最高的样本，并 将其复制粘贴到缺失区域内以修复破损图像。” “依据生成
深度学习系列45：图像恢复综述
kittyzc的博客
06-23 9300
从本期开始，会探索图像恢复领域的论文和代码。本次先阅读一下综述。 传统方法一个很大的假设是我们相信我们可以在缺失区域之外找到相似的patch，但是如果缺失区域之外没有任何类似的patch，就没有办法正确修复图像了。 2016年出现的基准的GAN算法，生成器为一个U型网络，判别器为多层卷积网络。损失包括像素级别的重建损失(L2)和鉴别器产出的对抗损失。 2016年升级版的context encode，其生成器包含两部分，增加了生成纹理的卷积网络： 上面的U型网络用于生成内容，损失函数包括L2损失和对抗损失。
图像修复技术综述
m0_57648523的博客
05-13 346
本文对图像修复技术进行了综述，首先介绍了图像修复的基本原理和挑战，然后详细介绍了几种常见的图像修复算法，包括基于稀疏表示的算法、基于深度学习的算法和基于图像结构的算法。图像修复的基本原理是利用图像本身的冗余信息和邻域像素之间的关系，通过算法恢复受损区域的像素值。基于稀疏表示的算法：稀疏表示是一种有效的图像修复方法，通过寻找一组稀疏基，将图像表示为这些基的线性组合。遥感领域：图像修复技术可以用于遥感图像的去云、去雾和缺失部分填补，提高遥感图像的质量。缺失部分大小：缺失部分越大，修复难度越高，算法性能下降。
图像修复研究进展综述（发表自计算机科学）
03-09
图像修复是计算机视觉领域中极具挑战性的研究课题。近年来,深度学习技术的发展推动了图像修复性能的显著提升,使得图像修复这一传统课题再次引起了学者们的广泛关注。文章致力于综述图像修复研究的关键技术。
针对图像修复的对抗攻击——Markpainting: Adversarial Machine Learning meets Inpainting
weixin_48654804的博客
10-22 544
针对图像修复的对抗攻击——Markpainting: Adversarial Machine Learning meets Inpainting 这篇论文是arxiv收录的论文。 https://arxiv.org/abs/2106.00660 warning：最好看原文，本文我其实也没有看太明白 Inpainting是图像修复技术，基于基于生成模型的学习的插值技术。也就是其实这里论文的Inpainting是基于NN（神经网络）的。 众所周知。NN并不靠谱，懂王特朗普就曾经发表过相关的见解： 所以，根
数字图像处理与计算机视觉：关键步骤与应用
"这篇资源是关于数字图像处理和计算机视觉技术的综述，重点讨论了彩色图像处理的关键步骤，包括图像表示与描述、图像采集、压缩、复原、形态学处理、分割、增强、对象识别以及问题域。此外，提到了一些重要的参考...
国内外计算机专业图形图像处理课程现状,计算机图像处理论文
weixin_33050129的博客
06-28 4058
数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。下面是学习啦小编给大家推荐的计算机图像处理论文，希望大家喜欢!计算机图像处理论文篇一《浅谈数字图像处理技术》摘要：本文针对目前广泛应用数字图像识别处理技术国内外研究现状进行了分析，阐述了数字图像处理技术的应用前景。关键词：数字图像 图像处理 数字技术 应用一、数字图像处理综述数字图像处理(Digital...
【CV】用于图像恢复的深度学习方法综述论文（2022年）
stay hungry, stay foolish
04-27 1万+
A survey of deep learning approaches to image restoration
基于深度学习的图像恢复方法综述论文
SmartLab307的博客
09-11 1495
topic【研究意义】在本文中，我们对用于图像恢复任务的深度学习方法进行了广泛的回顾。以卷积神经网络为首的深度学习技术在几乎所有图像处理领域，尤其是图像分类领域，都受到了广泛关注。然而，图像恢复是一个基本且具有挑战性的课题，在图像处理、理解和表示中起着重要作用。【图像恢复的细分研究方向】它通常处理图像去模糊 (image deblurring)、去噪 (denoising)、去雾 (dehazing) 和超分辨率 (super-resolution)。【图像恢复方法】
医学影像生成与修复：技术综述与应用
AI天才研究院
12-31 1171
1.背景介绍 医学影像生成与修复是一门研究领域，涉及到医学影像数据的生成、处理和分析。随着医学影像技术的发展，医学影像数据量越来越大，这为医学影像生成与修复提供了广阔的空间。医学影像生成可以用于生成虚拟的医学影像数据，以帮助医生进行诊断和治疗。医学影像修复则可以用于修复医学影像数据中的缺失、噪声和模糊信息，以提高图像质量。 医学影像生成和修复的主要应用包括： 虚拟医学影像数据生成：为医学影...
图像修复 2021 最新综述——附综述论文分享
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
06-24 4836
Image inpainting based on deep learning - A review【图像修复 2021 最新综述】 基本信息摘要1. Introduction2. Related works3. Image inpainting methods based on deep learning4. Image inpainting datasets5. Discussion and analysis6. Conclusions致谢
图像处理之图像复原算法：图像修复：图像处理基础理论
最新发布
kkchenjj的博客
07-29 1067
图像增强是图像处理中的一个重要步骤，旨在改善图像的视觉效果或使图像更适合后续的处理和分析。图像增强技术可以分为两大类：空间域增强和频率域增强。空间域增强：直接在图像像素上操作，如点运算（灰度变换、对比度拉伸）、邻域运算（平滑、锐化）。频率域增强：在图像的傅里叶变换域中操作，如低通滤波、高通滤波、带通滤波。盲复原算法是在不知道模糊核的情况下进行图像复原的方法。它通常需要同时估计模糊核和恢复原图像，因此算法更为复杂，但实用性更强。
2023图像复原综述论文笔记Recent progress in digital image restoration techniques: A review
m0_60350022的博客
02-29 2145
Recent progress in digital image restoration techniques: A review。一个全面而深入的数字图像恢复技术综述，涵盖了从传统方法到深度学习的最新进展。
决胜AI-深度学习系列实战150讲
05-21
深度学习系列课程从基本的神经网络开始讲起，逐步过渡到当下流行的卷积与递归神经网络架构。课程风格通俗易懂，方便大家掌握深度学习的原理。课程以实战为导向，结合当下热门的Tensorflow框架进行案例实战，让同学们上手建模实战。对深度学习经典项目，从数据处理开始一步步带领大家完成多个项目实战任务！
深度学习之图像修复
热门推荐
雨石
03-19 6万+
图像修复问题就是还原图像中缺失的部分。基于图像中已有信息，去还原图像中的缺失部分。从直观上看，这个问题能否解决是看情况的，还原的关键在于剩余信息的使用，剩余信息中如果存在有缺失部分信息的patch，那么剩下的问题就是从剩余信息中判断缺失部分与哪一部分相似。而这，就是现在比较流行的PatchMatch的基本思想。
PyCharm入门：计算机视觉基础——图像轮廓与直方图绘制
本文档详细介绍了如何在PyCharm环境下进行计算机视觉中的基础图像处理，主要涵盖了三个核心主题：绘制图像轮廓及灰度直方图、高斯滤波以及直方图均衡化。 1. 绘制图像轮廓和灰度直方图： - 基本原理：首先通过`...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值