最小二乘法的对偶形式（CVX）

最小二乘法的表示形式很多，其对偶形式也很多。这里学习了CVX官网的例子，求解最小二乘法的几种形式，这里进行简单的分析，看看是怎么得到的。

数据生成部分

randn('state',0);
n = 4;
m = 2*n;
A = randn(m,n);
b = randn(m,1);
p = 2;
q = p/(p-1);

第一种形式

cvx_begin quiet
    variable x(n)
    minimize ( norm ( A*x - b , p) )
cvx_end

第二种形式

cvx_begin quiet
    variables x(n) y(m)
    minimize ( norm ( y , p ) )
    A*x - b == y;
cvx_end

第三种形式

cvx_begin quiet
    variable nu(m)
    maximize ( b'*nu )
    norm( nu , q ) <= 1;
    A'*nu == 0;
cvx_end

这个形式怎么推导出来的并清楚，不过意思容易解释
如下图所示，$b=\hat{b}+b_e$,$b_e$与X的列空间正交，求取$min||Ax-b|{|}_2=min|||Ax-\hat{b}|+||b_e||$的过程等同于使$||max{b}_e||s.t.b_e\perp Col(A)$,也就是求b中与X列空间正交的部分。
$$\begin{gathered} maximize{b}^{T}v \\ s.t.||v||<=1,X^{T}v=0 \end{gathered}$$
显然，这个解是$v^{\ast }=b_e/||b_e||,||v^{\ast }||=1$

第四种形式

和第二种差不多
$$\begin{gathered} minimize1/2||y|{|}^2 \\ s.t.Ax-b=y \end{gathered}$$

cvx_begin quiet
    variables x(n) y(m)
    minimize ( 0.5 * square_pos ( norm ( y , p ) ) )
    A*x - b == y;
cvx_end

第五种形式

cvx_begin quiet
    variable nu(m)
    maximize ( -0.5 * square_pos ( norm ( nu , q ) ) + b'*nu )
    A'*nu == 0;
cvx_end

首先给出最小二乘法的优化形式
$$\begin{gathered} min\frac{1}{2}{b}_e^T{b}_e \\ s.t.b-Ax-b_e=0 \end{gathered}$$
拉格朗日方程式：
$$\begin{gathered} \mathcal{L}(b_e,x,v)=\frac{1}{2}{b}_e^T{b}_e+v^T(b-Ax-b_e) \\ \frac{\partial \mathcal{L}}{\partial b_e}=b_e-v \\ \frac{\partial \mathcal{L}}{\partial x}=-A^{T}v \\ \frac{\partial \mathcal{L}}{\partial v}=b-Ax-b_e \end{gathered}$$
令偏导数为0得到
$$\begin{gathered} b_e=v \\ -A^{T}v=0 \\ b-Ax-b_e=0 \end{gathered}$$
带入拉格朗日公式得到
$$g(v)=\underset{x}{\inf }\left(f(x)+v^{T}h\right)=-\frac{1}{2}{v}^{T}v+b^{T}v$$
这里，$f(x)=||Ax-b||$，假设其最优解为$f(x^{\ast })$。g(v)为凹函数，是$\mathcal{L}(b_e,x,v)$的下界.
因此，对偶形式如下：
$$\begin{gathered} maxg(v)=-\frac{1}{2}{v}^{T}v+b^{T}v \\ s.t.A^{T}v=0 \end{gathered}$$

在所有可行解$x\in \mathcal{D}$里面，有$\mathcal{L}(b_e,x,v)=f(x)+v^{T}h=f(x)\ge f(x^{\ast })\ge g(b_e,v)$

第三种形式和第五种形式很像，如果给个$||v||=1$的约束，两者就是一样的形式了

参考

http://web.cvxr.com/cvx/examples/cvxbook/Ch05_duality/html/norm_approx.html