L2,1范数的优化问题

问题描述

其中||*||2,1表示为对一个矩阵的每个列向量求2范数，然后对求得的值求1范数，即绝对值相加。

证明

这个优化问题对于列向量来说显然是可拆分的，所以讨论的时候针对某一列向量$W_i$：
$$\underset{W_i}{\min }\lambda ||W_i|{|}_2+\frac{1}{2}||W_i-Q_i|{|}_F^2$$
设拉格朗日函数为：$L=\lambda ||W_i|{|}_2+\frac{1}{2}||W_i-Q_i|{|}_F^2$
对$W_i$的导数为0可得：
$$\frac{\lambda W_i}{||W_i|{|}_2}+W_i-Q_i=0$$
即：
$$\frac{\lambda +||W_i|{|}_2}{||W_i|{|}_2}{W}_i=Q_i(1)$$
在这个等式当中既存在$W_i$，也存在$||W_i|{|}_2$，这让求解出$W_i$变得非常困难。
技巧在于这一步，两边同时取2范数，目的就是先找到$||W_i|{|}_2$的等式关系，将其替换。
$$\lambda +||W_i|{|}_2=||Q_i|{|}_2$$
显然向量2范数一定为正值（考虑不是非0向量的情况），那么为了尽可能满足上述等式，$||W_i|{|}_2$的取值要分情况讨论：
$$||W_i|{|}_2=\{\begin{array}{l}||Q_i|{|}_2-\lambda if\lambda <||Q_i|{|}_2\\ 0otherwise\end{array}$$
最后将$||W_i|{|}_2$带入到（1）式子当中解出最后的结果。