图象恢复学习笔记（一）

 Restoration: From Sparse and Low-rank Priors to Deep Priors 阅读笔记

来源：http://www.comp.polyu.edu.hk/~cslzhang

图象恢复问题描述

公式表示

 ? = ?? + ? ，其中? 是退化矩阵，? 是加性噪声

图像恢复问题可以描述为给定观察到的y图像，从中恢复出原图像x。

图象恢复是一种不适定问题。

(适定问题是指定解满足下面三个要求的问题：① 解是存在的；② 解是唯一的；③ 解连续依赖于定解条件，即解是稳定的。这三个要求中，只要有一个不满足，则称之为不适定问题。)

图象恢复模型

　　　　　　

核心问题：

　　退化过程模型建立

　　合适的先验条件（good priors）

稀疏表示

回顾线性代数??=?， 如何求解?？

A满秩方阵，?=?^-1?.

A列满秩矩阵（over-determined），有最小二乘解   ?= ?^†? (伪逆)

　　　　　　　　　　　　

A行满秩矩阵（under determined）？

　　　　　　　　　　　　

优化模型：        ???_??(?)  ?.?.??=?

不同目标函数?(?)可以得到不同的解，其中目标函数取

　　　　　　　　

L2范数最小化的解为稠密解（解里有许多非0的值），但更多的时候，我们希望得到一个稀疏的解，即解里有许多0或接近0的值。

　　　　

稀疏编码模型

为了得到稀疏解，取目标函数为L0范数。

　　　　　　　　

但L0范数最小化为非凸的NP-hard问题。

而L1范数最小化是L0范数最小化的最紧的凸松弛。

最为广泛使用的稀疏编码模型形式如下：

　　　　　　　　

　　　　　　　

稀疏编码的算法

L0范数最小化-贪婪搜索

               匹配追踪MP

               正交匹配追踪OMP

L1范数最小化-凸优化

           　 迭代再加权最小二乘

               近似梯度下降（迭代软阈值ISTA）

　　　　增广拉格朗日方法（乘子交替方向法ADMM）

MP&OMP

　　匹配追踪(MP)和正交匹配追踪(OMP)要解决的问题可以具体表示为：

　　在过完备字典?中选出k列，用这k列的线性组合近似表达待稀疏分解信号?，表示为，?=??，求?。

　　其中字典A和观测到的信号?已知。

　　过完备字典，即原子个数远大于信号长度，?=??中，过完备字典?为n*m尺寸，信号b长度为n*1，?为m*1。

　　　　　　　　

MP算法的基本思想：

　　从过完备字典矩阵A（也称为原子库中），选择一个与信号? 最匹配的原子(某一列)，最小二乘解逼近，再从信号?中减去这部分，求出信号残差，然后继续选择与信号残差最匹配的原子，反复迭代，信号?可以由这些原子的线性和，加上最后的残差值来表示。

　　由于字典原子不是相互正交的，有可能会使得每次迭代的结果不是最优的，需要很多次迭代才能收敛。

OMP算法思想：

　　在正交匹配追踪OMP中，残差是总与已经选择过的原子正交的。这意味着一个原子不会被选择两次，结果会在有限的几步收敛。

　　具体步骤其实就是用施密特正交化使每次选择的原子（字典某一列，基）与已经选择过的所有原子正交。另外，求残差也不是直接减ÿ