概念解析 | ISTA:稀疏信号恢复的优雅算法

注1:本文系“概念解析”系列之一,致力于简洁清晰地解释、辨析复杂而专业的概念。本次辨析的概念是:迭代收缩阈值算法(ISTA)。

概念解析 | ISTA:稀疏信号恢复的优雅算法

https://arxiv.org/pdf/math/0307152.pdf

1. 背景介绍

在信号处理、机器学习等领域,我们常常需要从含有噪声的观测数据中恢复原始信号。例如在图像处理中,我们希望从低分辨率、噪声较大的图像中恢复出高分辨率的原始图像。然而,这是一个非常困难的逆问题(inverse problem)。

传统方法依赖于手工设计图像先验模型,但这些方法往往需要专业知识,不够普适。近年来,人们提出可以利用稀疏表示理论(sparse representation)来恢复信号,这为解决逆问题提供了一个优雅的思路。

稀疏表示理论认为,许多自然信号可以用一个稀疏线性组合来逼近,也就是说只有少数的系数非零,大多数系数为零。例如,一张人脸图像在某个过完备字典(如