稀疏模型求解优化算法

       稀疏模型求解，是给定字典或固定基D，求解对图像或信号x的最逼近原始真实图像的稀疏系数α的过程。当前，关于稀疏求解问题的优化算法大致归纳为：针对范数最小化问题的贪婪算法，是直接对范数进行求解；针对范数最小化问题的最优化算法（其包括范数正则化算法，是范数求解法和范数求解法的折中），是把范数松弛到范数进行求解；统计优化算法，是从数学期望中估计图像的最稀疏解。

1. 范数近似求解算法

       在范数近似求解算法中，最典型的稀疏求解算法是贪婪算法及其变形算法[1-2]。基于上述稀疏表示模型，贪婪算法是针对以下问题提出的：

                                           

其主体思想是从问题的某一个初始解出发逐步逼近给定的目标，以尽可能快地求得更好的解。贪婪算法的基本实现过程为：

针对范数算法求解的贪婪算法，具备运算速度快的优点，但是其优化效果相对较差，需要的观测信号数量也较多，不能高效地压缩信号。另外，贪婪算法还存在不能下列问题：

       1）不能保证求得的最后解是最优的；

       2）不能用来求最大或最小问题；

       3）在速度上有优势，但是在稳定性上没有保证；

       4）只能求满足某些约束条件的可行解范围。

      2. 范数凸松弛算法 

      范数凸优化算法，是将原来无法求解的NP组合最优化问题转为线性规划最优化问题，其最基本的优化算法包含基追踪算法(BP)与LASSO算法[3-4]。其基本模型主要为：

                                   

 

       3. 统计优化算法

       以稀疏贝叶斯为代表的统计优化算法是从统计的角度出发，在数学期望中求取信号的最稀疏表示。其基本思想是对稀疏模型中各参数进行概率建模，在贝叶斯学习的框架下将参数设置及稀疏求解问题转化为混合范数和加权范数之和的凸优化问题，最后通过迭代优化得到参数设置和问题求解。