（最优化理论与方法）第一章最优化简介-第二节：最优化典型实例之稀疏优化和低秩矩阵恢复

考虑下面线性方程组的求解问题，其中 $x\in {\mathbb{R}}^n,b\in {\mathbb{R}}^m$，矩阵$A\in {\mathbb{R}}^{m\times n}$，且向量$b$的维数远小于向量$x$的维数，也即$m$<<$n$

$$Ax=b$$

在相关问题中，当我们建立这样的模型后，常常希望解出向量$x$，但无奈的是由于$m$<<$n$，所以它会有无穷多解。但是，这些解当中大部分是不重要的，真正有用的是那些稀疏解

一：什么是稀疏优化

稀疏优化：原始信号中绝大多数元素为0，在某种线性约束条件下，求一个使决策变量使其非零元素个数达到最小，其基本数学模型如下

$$min||x|{|}_0,s.t.Ax=b$$

这类技术常常应用于通过部分信息恢复全部信息。例如下图

• 假设读者评分仅与题材有关，那么就可以利用部分信息恢复全表

二：范数

范数（Norm）：在线性代数等数学学科中，范数是一个函数，其赋予某个向量空间或矩阵中的每个向量以长度或大小（对于零向量，令其长度为0）。直观来讲，向量或矩阵的范数越大，那么我们就可以说这个向量或矩阵也就越大

• 其实我们所熟知的绝对值也是范数，它是一维向量空间中实数或复数的范数
• 经常用到的欧氏距离也是范数

对于这三个范数，从效果上来看

• $l_0$效果最好
• $l_1$效果次之
• $l_2$效果最差

对于这三个范数，从求解速度上来看

• $l_0$基本很求解
• $l_1$也很难求解，运算时间较长，但要是能求出来，其解更偏向于全局最优解
• $l_2$求解速度较快，但容易陷入局部最优

（1）$l_0$范数

$l_0$范数：是指向量中非0的元素的个数。如果我们用$l_0$范数来规则化一个参数矩阵$W$的话，就是希望$W$的大部分元素都是0，换句话说，让参数$W$是稀疏的。所以$l_0$范数非常适合机器学习中的稀疏编码，可以通过最小化$l_0$范数来寻找最少的稀疏特征项

• 例如向量$a=[1,0,2,0,-1,2]$的$l_0$范数就是4

但是，$l_0$范数的最小化问题是一个NP难问题，举个例子

• 假设某矩阵$A$大小为500×2000，如果我们知道稀疏解为20（也即该矩阵中只有20个元素非零），那么你要想求解这20个点就有3.0×10⁴⁷种可能，假设每次测试需要1.0×10^-9s，那么总共需要1.2×10³¹年才能得到答案

（2）$l_1$范数和$l_2$范数

• $l_1$范数：是指向量中各个元素绝对值之和。$l_1$是$l_0$范数的最优凸近似

• $l_2$范数：是指向量中各个元素平方和然后开根

$l_1$范数最优化问题的解是稀疏性的，其倾向于选择很少的一些非常大的值和很多的不重要的小值。而$l_2$范数最优化则更多的非常少的特别大的值，却又很多相对小的值，但其仍然对最优化解有重要的贡献。但从最优化问题解的平滑性来看，$l_1$范数的最优解相对于$l_2$范数要少，但其往往是最优解，而$l_2$的解很多，但更多的倾向于某种局部最优解

三：稀疏优化例子

在MATLAB环境中构造矩阵$A$（128×256），其每个元素都服从高斯分布，精确解$u$只有10%的元素非零，每一个元素也服从高斯分布

m = 128; n = 256;
A = randn(m, n);
u = sprandn(n, 1, 0.1);
b = A * u;

此时，$u$便是如下$l_0$范数问题的最优解

$$\underset{x\in {\mathbb{R}}^n}{\min }||x|{|}_{0}s.t.Ax=b$$

而前面说过，$l_0$范数优化问题是$NP$难问题，所以是不可能直接求解出来的，因此可以转为$l_1$范数优化问题，如下
$$\underset{x\in {\mathbb{R}}^n}{\min }||x|{|}_{1}s.t.Ax=b$$

但是相关论文已经证明，$l_1$是$l_0$范数的最优凸近似，也即若$A$、$b$满足一定条件，向量$u$也是$l_1$范数优化问题的唯一最优解。从这里我们可以看到优化这门学科可以在很大程度上降低待研究问题的困难程度

但如果改为$l_2$范数优化问题呢，即求解如下优化问题

$$\underset{x\in {\mathbb{R}}^n}{\min }||x|{|}_{2}s.t.Ax=b$$

虽然$l_2$范数优化问题可以很快求解出来，但此时$u$已经不是原问题的解了。这是因为 $l_1$范数优化问题可以保证解的稀疏性，但$l_2$范数优化问题并不能保证

四：低秩矩阵恢复