Image Denoising and Inpainting with Deep Neural Networks读书笔记

一、简介

论文提出了一种新的方法来解决low-level视觉问题，它将稀疏编码和深度网络训练与去噪自动编码器(Denoising auto-encoder，DA)结合起来。可以从图像中自动删除像叠加文本这样的复杂模式，而不是仅处理像素随机丢失的简单模式。

论文主要使用灰度图像进行实验，作者也提出推广到彩色图像很容易（具体不知道。。）

图像去噪两大种方法：

第一种，将图像信号转换到另一个域（傅里叶变换等），使得更容易将噪声分离出来。

第二种，直接从图像域中捕获统计信息。稀疏编码方法从完备字典的稀疏线性组合中重建图像，字典是从数据中学习的，而不是人工编造的，这一学习步骤显着地提高了稀疏编码的性能。

图像修复方法可分为非盲修复和盲修复两类，在非盲修复中，需要修复的区域需要预先告诉算法，而在盲修复中，不给出损坏像素位置的信息，算法必须自动识别需要修复的像素。

非盲修复算法目前效果很好，论文主要针对困难的图像盲修复做了一些研究。

论文指出虽然稀疏编码模型在实际应用中表现良好，但它们都具有较浅的线性结构，提出将稀疏编码的优势“稀疏”和深度网络的“深度”相结合，解决图像去噪和盲修复问题。

论文使用DA对模型进行预训练，因为DA有助于去噪和修复。DA是一个两层的神经网络，它试图从含噪声的输入中重建原始输入。SDA（Stacked Denoising Auto-encoders）是一系列DA的叠加表示，前一层的输出经过激活函数作为下一层的输入，SDA广泛用于非监督预训练和特征学习。