论文阅读笔记（DIP）：Deep Image Prior

Deep Image Prior

网站：Deep Image Prior (dmitryulyanov.github.io)

引用：

@InProceedings{Ulyanov_2018_CVPR,
author = {Ulyanov, Dmitry and Vedaldi, Andrea and Lempitsky, Victor},
title = {Deep Image Prior},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2018}
}

Abstract

• 生成器网络结构能够在任何学习之前，捕获大量的low-level image statistic prior。
• 随机初始化的神经网络就可以制作手工先验来解决标准逆问题。

Introduction

理论前提：

• 大量的image statistic由convolutional image generator捕获。
• IR所需的同级数据，需要image prior来整合退化过程丢失的信息。

本文方法概述：

使用生成器网络去拟合一个退化图像。

将重建转换为图像生成问题（conditional image generation problem)。

**本文认为需要的信息：**单个图像与用于重建网络的手工特征。

Method

使用generator/decoder网络$x=f_{\theta }(z)$将随机向量$z$映射到图像$x$。

将逆问题转换为能量最小化问题：

依然是划分为任务相关的数据项与正则项。

对于正则项部分，本文任务对于从$z$通过ConvNet产生的图像，$R(x)=0$。其他信号时，$R(x)=+\infty$。

本文认为：参数化（parametrization）对噪声高阻抗，对信号低阻抗。

因此生成器会先学到干净图像，再学带噪的部分，因此将网络优化过程限制为一定的迭代次数，就能够获得干净图像。

总结

总的来说，DIP的思想就是，将一个噪声图像送入生成器网络向噪声图像学习，由于对噪声高阻抗，会先学习到干净的部分，因此在中间过程停止迭代即刻获得干净图像。

本图像取自journal版的DIP。

思考：

虽然本方法可以使用一张低质图像与一个网络不需要训练能够获得不错的复原效果，但需要对单张图像单独进行网络参数的优化，在迭代部分没有停止的标准，并且迭代次数比较大耗时长。

ICCV 2021 有一篇对DIP在去噪工作上的改进：《Rethinking Deep Image Prior for Denoising》