【Diffusion】DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior

已于 2024-07-27 11:03:04 修改
阅读量452 收藏 4
点赞数 5
文章标签： stable diffusion
于 2024-07-09 15:18:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24243877/article/details/140291529
版权

paper:
https://arxiv.org/pdf/2308.15070
codes:
https://github.com/xpixelgroup/diffbir

Motivation

  1. diffusion生成先验在条件图像生成效果很好
  2. 直接用LQ做条件输入然后生成的效果不好，因为LQ损伤严重，特征纠缠，会造成伪像残留
    在这里插入图片描述
  3. 将任务分解为两部份，1 退化去除 2 特征生成请添加图片描述
  4. 退化任务与退化设计有关，对于不同的任务，应用不同的退化去除模块，只做去退化，不做生成，MSE loss 训练

Main

  1. Blind real world degradation
  2. Unified-framework for deblur/sr/dehaze/de-rain/inpaint
  3. Two stage: degradation removal and details generation
  4. IRControlNet leverage the un-realistic details
  5. Region-adaptive module in infer process to guide denoising
    只对低频域进行MSE loss约束，高频细节进行生成
  6. Different task different degradation removal module

Network

IRControlNet

在这里插入图片描述

Region-adaptive restoration guidance

Relative Tech

  1. SD
  2. VAE
  3. ControlNet

Eexperiment config

Paper Results and Performance

在这里插入图片描述

  • DR2
  • DiffFace
  • PGDiff

Env and Pipeline

Test on val & real data

Modify

keep_learning111
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【图像超分】论文精读：DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
畅游计算机视觉的海洋
05-14 156
我们提出了DiffBIR，这是一种通用恢复管道，可以在一个统一的框架中处理不同的盲图像恢复任务。DiffBIR将盲图像恢复问题分为两个阶段:1)退化去除:去除与图像无关的内容;2)信息再生:生成丢失的图像内容。每个阶段都是独立开发的，但它们以级联方式无缝工作。在第一阶段，我们使用恢复模块去除退化并获得高保真恢复结果。在第二阶段，我们提出了 IRControlNet，它利用潜在扩散模型的生成能力生成逼真的细节。具体来说，IRControlNet 是基于专门设计的条件图像进行训练的，而不会分散嘈杂的内容以稳定生
CVPR2023 DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior模型训练
qq_69854365的博客
05-11 1082
CVPR2023 DiffBIR模型训练
DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
weixin_44994838的博客
07-01 307
深圳先进研究院&上海ai lab&港中文 https://github.com/XPixelGroup/DiffBIR https://arxiv.org/pdf/2308.15070 问题引入 使用一个统一的框架来处理image restoration任务，包含图片超分BSR，图片去噪BID和人脸restoration BFR，分为两个阶段，第一个阶段是degradation removal来去掉与图片无关的退化信息，第二个阶段是generation module for los
读论文：DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
U R MINE
02-04 1453
模糊核的大小遵循7 ~ 21的均匀分布，第一次退化过程的模糊σ均匀采样在0.2 ~ 3之间，第二次退化过程的模糊σ均匀采样在0.2 ~ 1.5之间。对于第一次降解过程，调整尺寸的比例因子遵循0.15至1.5的均匀分布，对于第二次降解过程，比例因子遵循0.3至1.2的均匀分布。在第一次和第二次退化过程中，泊松噪声的尺度分别在0.05 ~ 3和0.05 ~ 2.5之间随机采样。上述引导可以迭代地强制潜在特征之间的空间对齐和颜色一致性，并引导生成的潜在保留参考潜在的内容，实现从生成的输出到更平滑的结果的过渡。
CVPR2021:Towards Real-World Blind Face Restoration with Generative Facial Prior
weixin_45703452的博客
08-18 1859
单位：腾讯PCG 论文 代码 Xintao Wang大佬（ESRGAN、EDVR作者）的力作，这篇论文和他们另一篇CVPR2021论文《GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution》想法相近，但是做的是两个不同的恢复任务。 摘要 人脸盲恢复通常依赖于人脸先验信息，如人脸几何先验信息或参考先验信息来恢复真实可信的细节。然而，极低质量的输入无法提供精确的几何先验，而高质量的参考通常难以得到，从而限制了在现实场景中的
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR2019|最新更新论文~持续更新|CVPR2019百度云下载
热门推荐
王博（Kings）的博客
04-18 3万+
CVPR论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：CVPR2019 今天更新到2019年6月10号 目录 今天更新到2019年6月10号 目标检测、行人检测、视频超分辨等 FAIR工作、视频跟踪、人脸识别、动作识别 行人检测、图像生成、步态识别 目标...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8734
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7159
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
图像超分辨率&超分辨率NeRF论文阅读
Iron_lyk Blog
10-21 449
Code:xxx。如下图所示 xxx。Code: Nonexxx。如下图所示 xxx。Code:xxx。如下图所示 xxx。Code:Code:xxx。如下图所示 xxx。Code:Code:Code:
Stable Diffusion AI算法，实现一键式后期处理与图像修复魔法
Why_does_it_work的博客
09-10 664
在数字影像领域的后期处理技术方面，人工智能技术，特别是Stable Diffusion技术的应用，已经取得了显著的进步。这项技术通过智能色彩校正、光影重塑、细节优化和噪点去除等功能，不仅保留了图像的原始信息，避免了失真，还实现了高效且易用的专业级别修复体验。这极大地提升了图像处理的效率和品质，降低了技术门槛，使得更多的人能够轻松享受到高质量图像处理带来的便利。通过好易智算平台，我们可以迅速启动Stable Diffusion模型，整合多个AI应用程序，使得访问和使用这些先进技术变得简单快捷。
使用亚马逊Bedrock的Stable Diffusion XL模型实现文本到图像生成：探索AI的无限创意
因果律的博客
09-07 1402
本文介绍了如何使用 Amazon Bedrock 服务中的 Stable Diffusion 模型在 JupyterLab 中生成图像的详细步骤。用户首先创建并命名 notebook，粘贴代码后运行，以生成示例图像。生成的图像将保存在“output”文件夹中，用户可直接查看。通过这些简单的操作，用户能够快速了解并掌握使用 Amazon Bedrock 进行图像生成的基本流程，为进一步的 AI 应用开发提供了实用参考。
利用Stable Diffusion AI图像模型评估智能车模型算法表现(下篇)
m0_66628975的博客
09-07 2659
Amazon SageMaker 是亚马逊云科技提供的一项全托管机器学习服务，帮助开发者和数据科学家轻松构建、训练和部署机器学习模型。SageMaker 提供了全套的工具和基础设施支持，用户无需管理底层的服务器和环境，即可快速处理从数据准备到模型训练再到部署的完整机器学习流程。SageMaker 提供了灵活的开发环境，支持多种常用的机器学习框架，如 TensorFlow、PyTorch 等，同时也支持用户自定义的算法和模型。
【笔记】扩散模型（七）：Latent Diffusion Models（Stable Diffusion）论文解读与代码实现
最新发布
LittleNyima的博客
09-10 750
详解Stable Diffusion论文与代码实现
Stable Diffusion绘画 | ControlNet应用-Inpaint(局部重绘)：更完美的重绘
Leo-Fighting的博客
09-06 533
Inpaint(局部重绘) 相当于，不但可以进行局部画面的修改，还可以去除背景中多余的内容，或者是四周画面内容的扩充。
loading stable diffusion model: runtimeerror
04-29
loading stable diffusion model: runtimeerror是指在运行稳定扩散模型时出现了运行时错误。这可能由多种因素引起，包括代码错误、计算机系统问题或数据源错误。要解决这个问题，我们可以进行以下步骤： 首先，检查代码是否正确。检查代码是否存在语法错误或逻辑错误。我们可以使用调试工具来逐步运行程序并确定其出错的位置。如果发现了错误，我们可以修改代码并重新运行程序。 其次，检查计算机系统问题。可能是由于计算机内存不足或计算机性能太低导致的运行时错误。我们可以尝试升级计算机硬件或优化程序以减少其内存占用和处理速度。 最后，检查数据源错误。可能是由于输入数据源的格式不正确或数据完整性不足导致的运行时错误。我们可以检查数据源格式是否正确并修复数据源的缺损部分。 综上所述，loading stable diffusion model: runtimeerror可能有多种原因，我们需要针对具体情况进行排查，并采取相应的解决措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值