l20范数最小化求解系数方程_贪婪组稀疏方法(Greedy group sparsity)

l20范数最小化求解系数方程_贪婪组稀疏方法(Greedy group sparsity)

本文章部分参考Fast group sparse classification

前言

之前的一篇文章介绍了l0范数最小化求解方法中的正交追踪匹配法，其基本思想是不求整体的最优解，而是快速得到某个局部最优解。求解l0-minimization的稀疏解在人脸识别中有很广泛的应用，最著名的文章之一便是John Wright和Ma Yi发表在PAMI上的 Robust Face Recognition via Sparse Representation，但是利用l0-minimization的求解方法在面对不同类之间高度相关的情况下会产生错误，最稀疏的解不一定是分类问题最优解，于是Ehsan Elhamifar提出了用结构化稀疏解来分类的算法Robust classification using structured sparse representation。具体的稀疏表达分类算法在以后的博客中会写到，这篇文章关注结构化稀疏解的算法——Block Orthogonal Matching Pursuit (BOMP)，Group Orthogonal Matching Pursuit (GOMP). 和其他凸优化方法相比贪婪组稀疏方法在速度上有很大优势。

这篇博客的matlab实现已上传到github.

BOMP

输入 观测数据向量$y\in\bf{R}^m$和字典矩阵$A\in\bf{R}^{m\times n}$.
输出 稀疏系数向量 $x\in\bf{R}^n$.
Step 1 初始化 令标签集$\Omega_0=\varnothing$,初始残差向量$r_0=y$，令$k=1$.
Step 2 辨识 求矩阵$A$中与残差向量$r_{k-1}$最强相关的列，并将该列所在的组的所有列加入标签集$\Omega_k$
jk