理论分析IRLS迭代加权最小二乘法（根据Gorodnitsky and Rao）

最新推荐文章于 2024-04-08 17:18:08 发布

MAUM

最新推荐文章于 2024-04-08 17:18:08 发布

阅读量9.8k

点赞数 9

分类专栏：压缩感知文章标签： IRLS Sparse represetation

本文链接：https://blog.csdn.net/maum61/article/details/87019858

版权

压缩感知专栏收录该内容

3 篇文章 2 订阅

订阅专栏

最近在拜读Michael Elad的《Sparse and Redundant Representations》，里面关于IRLS的讲解比较透彻（根据Gorodnitsky and Rao的理论），从理论到算法的过程，和大家分享一下。知识水平有限，望各位指出错误，不吝赐教。

一. 阅读以下内容需具备的知识基础

1. SVD分解

可以参考：https://www.cnblogs.com/xiaohuahua108/p/6137783.html?utm_source=itdadao&utm_medium=referral（此链接未经原作者允许，请见谅。若原作者看到此引用认为不妥，请告知，笔者将第一时间处理）。

2. 伪逆

可以参考：：https://blog.csdn.net/you1314520me/article/details/78857759。（此链接未经原作者允许，请见谅。若原作者看到此引用认为不妥，请告知，笔者将第一时间处理）。

二. IRLS是什么？

IRLS是Iterative-Reweighed-Least-Squares是缩写，由Gorodnitsky and Rao提出，是FOcal Underdetermined System
Solver (FOCUSS) algorithm家族中的方法之一，主要作用顾名思义是解决欠定系统问题，也就是众所周知的P0问题。该方法属于凸松弛（Convex Relaxation）技术，其核心思想是通过将L0-norm松弛化（relaxation），把高度不连续的问题松弛化为连续的甚至是光滑逼近（smooth approximation）。

三. IRLS详解

一种L0-norm松弛化的技术即是IRLS，该方法将 $l_{p}-norm (p\in (0,1])$ 代替为加权 $l_{2}-norm$ 。首先，构造对角矩阵 $X_{k-1}=diag(\left |x_{k-1} \right |^{q})$ 。在这里 $x_{k-1}$ 是前一次迭代产生的近似解，将该解（列向量）的所有元素取绝对值的q次方，依次作为对角线元素，其余非对角线元素均为0，构造出 $X_{k-1}$ ，例如：

$X_{k-1}=\begin{vmatrix} \left |x_{11} \right |^{q}& 0 &0 \\ 0& \left |x_{22} \right |^{q} &0 \\ 0&0 & \left |x_{33} \right |^{q}} \end{vmatrix}$

假如 $X_{k-1}$ 主对角元素有0值，则 $X_{k-1}$ 的逆不存在，则利用伪逆来代替，表示为 $X_{k-1}^{+}$ 。为啥提到伪逆呢，因为要给 $X_{k-1}$ 对角元素加上-q次方。对角方阵的伪逆，实际上是各个主对角元素分之一，例如：

$X_{k-1}^{+}=\begin{vmatrix} \left |x_{11} \right |^{-q}& 0 &0 \\ 0& \left |x_{22} \right |^{-q} &0 \\ 0&0 & \left |x_{33} \right |^{-q}} \end{vmatrix}$

在此，引入 $\left \|\mathbf{X}_{k-1}^{+}\mathbf{x} \right \|_{2}^{2}$ （符号使用不太规范，从这里开始都规范起来。。）。这时有

$\left \|\mathbf{X}_{k-1}^{+}\mathbf{x} \right \|_{2}^{2}=\left \|\mathbf{x} \right \|_{2-2q}^{2-2q}$

这里其实是范数运算和矩阵运算，不理解的话可以自己演算一下。可以看到，等式右侧是解的（2-2q）范数。特殊的，当q=1时，则 $\left \|\mathbf{x} \right \|_{2-2q}^{2-2q}=\left \|\mathbf{x} \right \|_{0}^{0}$ 。也就是说，可以利用 $\left \|\mathbf{X}_{k-1}^{+}\mathbf{x} \right \|_{2}^{2}$ 这个2范数来模拟（imitates）0范数。这个过程就是IRLS的核心思想。当然，剩下的过程也很重要。回到问题的最初， $\mathbf{Ax}=\mathbf{b}$ ，我们要求 $\mathbf{x}$ 是最稀疏的，也就是 $\left \|\mathbf{x} \right \|_{0}^{0}$ 最小，数学表示如下：

$\underset{\mathbf{x}}{min} \left \|\mathbf{x} \right \|_{0}^{0} s.t. \mathbf{Ax}=\mathbf{b} \Rightarrow \underset{\mathbf{x}}{min} \left \|\mathbf{X}_{k-1}^{+}\mathbf{x} \right \|_{2}^{2} s.t. \mathbf{Ax}=\mathbf{b}$

引入拉格朗日乘子，求最优解：

则有

因为 $X_{k-1}^{+}$ 只有对角线元素非零（当然对角线也可能有0元素）， $(X_{k-1}^{+})^{-1}$ 可能不存在，但是取其伪逆，相当于是将非零对角线元素取-1次幂，那么又变为了 $\mathbf{X}_{k-1}$ ，因此才有上式。

此时另外一个问题出现了，此时的解中还含有未知量，需要将其消去。此时，可以将上式得到的解 $\mathbf{x}_{k}$ 代入到约束条件 $\mathbf{Ax}=\mathbf{b}$ 中

得到了的表达式，将其代入到中，得到 $\mathbf{x}_{k}$ 的最终表达式

此处使用伪逆代替，以防止不可逆。关于如何求伪逆，文章第一章推荐的博客有详细讲解，求伪逆需要用到SVD，因而也推荐了SVD详细讲解。

四. IRLS解 $P_{p}$ 问题的策略

MAUM

关注

9
点赞
踩
42

收藏

觉得还不错? 一键收藏
4
评论
理论分析IRLS迭代加权最小二乘法（根据Gorodnitsky and Rao）

最近在拜读Michael Elad的《Sparse and Redundant Representations》，里面关于IRLS的讲解比较透彻（根据Gorodnitsky and Rao的理论），从理论到算法的过程，和大家分享一下。知识水平有限，望各位指出错误，不吝赐教。一. 阅读以下内容需具备的知识基础1. SVD分解可以参考：https://www.c...
复制链接

扫一扫