ECCV 2024 | 索尼提出InstructIR：按人类指令进行高质量图像复原

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：AI研习社

High-Quality Image Restoration Following Human Instructions

论文：https://arxiv.org/abs/2401.16468

项目：https://mv-lab.github.io/InstructIR/

先看效果：

摘要

图像恢复是一个基本问题，涉及到从退化的观测中恢复高质量的干净图像。一体化图像恢复模型可以有效地从不同类型和级别的退化中恢复图像，使用特定于退化的信息作为提示来指导恢复模型。在这项工作中，我们提出了第一种使用人类书面指令来指导图像恢复模型的方法。给定自然语言提示，该文提出的模型可以从降级的对应图像中恢复高质量的图像，考虑到多种降级类型。该文提出的方法，InstructIR，在几个恢复任务上实现了最先进的结果，包括图像去噪，去噪，去模糊，去雾和(低光)图像增强。InstructIR比以前的一体化恢复方法提高了1dB。此外，该文提出的数据集和结果为文本引导图像恢复和增强的新研究提供了一个新的基准。

模型架构

    该方法将基于指令的图像恢复作为一种监督学习形式。具体过程如下：首先，根据示例说明使用GPT-4生成10000多个提示；之后建立一个大型配对的提示和退化/干净图像的训练数据集；最后，训练InstructIR模型，并在各种各样的指令上对它进行评估，包括真正的人工写的提示。

五项恢复任务的定量结果

基于指令的图像恢复

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看