信号在一组基下是稀疏的且满足一定条件时,压缩感知理论证实了可以通过求解L1最小化问题来精确地恢复所有元素。
当信号用矩阵形式表示时,当矩阵的奇异值具有稀疏性(即矩阵是低秩的)且采样数目满足一定条件时,大多数矩阵可以通过求解核范数最小化问题来精确地恢复所有元素,称为矩阵补全。
近年来涌现出了许多求解秩最小化问题的启发式方法,这些方法主要分为两类:
一类是将秩函数凸松弛到矩阵核范数,建立核范数优化模型;
另一类是事先给定矩阵的秩,建立低秩分解模型。
*矩阵的核范数(nuclear norm)等于矩阵奇异值的和,而矩阵的秩(rank)是非零奇异值的个数,所以核范数能近似矩阵的秩
矩阵的核范数是一个连续的、不可微的凸函数。梯度或次梯度下降法是求解核范数优化模 型的主要方法。
矩阵核范数最小化模型 等价于 半定规划问题。
基本知识
奇异值分解( SVD):
范数与对偶范数
核范数优化模型的矩阵补全算法
对于低秩矩阵 M 由仿射秩最小化问题凸松弛到核范数最小化问题:
当矩阵 X 给定时,由定义 3 知 X 的核范数等于下列优化问题的最优值:
求解半定规划常用的方法是内点算法。
低秩矩阵分解模型的矩阵补全算法
对于核范数最小化模型,用矩阵核范数来度量秩的大小。在实际问题中,若事先知道秩的取值,则可以用低秩矩阵分解
模型来恢复丢失元素。这种方法还可以避免矩阵的奇异值分解。