论文阅读笔记（RethinkDIP):Rethinking Deep Image Prior for Denoising

Rethinking Deep Image Prior for Denoising

论文地址：https://arxiv.org/abs/2108.12841

代码地址：GitHub - gistvision/DIP-denosing: Code and models for “Rethinking Deep Image Prior for Denoising” (ICCV 2021)

引用格式：

@inproceedings{jo2021rethinking,
  title={Rethinking Deep Image Prior for Denoising},
  author={Jo, Yeonsik and Chun, Se Young and Choi, Jonghyun},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={5087--5096},
  year={2021}
}

Abstract

DIP局限性：

1. 对噪声过拟合
2. 没有迭代停止标准

改进点：

1. DF（Degrees of freedom）监控优化过程
2. 过零点停止标准（Zero-crossing stopping criterion）
3. 随机时间集成STE（Stochastic temporal ensembling）
4. 将任务扩充到possion噪声
5. 增加评价标准：学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)

Preliminaries

问题描述：

沿用了DIP的思路，$y$为噪声图像，$x$为干净图像，$n$为噪声。

$y=x+n$

参数优化：$\hat{\theta }=\underset{\theta }{\mathrm{argmin}}\mathcal{L}(h(\dot{n};\theta ),y)$

【我的理解此处的$\dot{n}$为DIP中的随机变量$z$】

Effective degrees of freedom(DF):

模型对训练数据的拟合量。

输入：$y$ , $ h(.)$

$DF(h)=\frac{1}{{\sigma }^2}{\sum }_{i=1}^{n}Cov(h_i(.),y_i)$

其中，$Cov$为协方差，$\sigma$为噪声的标准差。

使用Stein’s lemma简化协方差计算：

$\frac{1}{{\sigma }^2}$