线性最小二乘法

example:
$$f(x)=\frac{1}{2}\parallel Ax-b{\parallel }_2^2$$
最小化下式时x的值。首先计算：
$${▽}_{x}f(x)=A^T(Ax-b)=A^{T}Ax-A^{T}b$$
可以选择采用小的步长，并按照上述梯度下降：
algorithm: 从任意点x开始，使用梯度下降关于x做小化$f(x)=\frac{1}{2}\parallel Ax-b{\parallel }_2^2$的算法
将步长($ϵ$和容差($\alpha$)设置为小的正数)。
$$\begin{gathered} while\parallel A^{T}Ax-A^{T}b{\parallel }_2>\alpha do: \\ x\leftarrow x-ϵ(A^{T}Ax-A^{T}b) \\ endwhile \end{gathered}$$
使用牛顿法解决这个问题
现在假设我们希望最小化同样的函数，但受$$x^{T}x<=1$$的约束，要做到这一点，我们引入Lagrangin
$$L(x,\lambda )=f(x)+\lambda (x^{T}x-1)$$
将问题转化为：
$$mi{n}_{x}ma{x}_{\lambda ,\lambda >=0}L(x,\lambda )$$
我们可以使用Moore-Penrose伪逆：$x=A^{+}b$找到无约束最小二乘问题的最小范数解关于x对Lagrangian微分，我们得到方程：
$$A^{T}Ax-A^{T}b+2\lambda x=0$$
方程的解为：
$$x=(A^{T}A+2\lambda I{)}^{-1}{A}^{T}b$$
$$\lambda$$的选择必须使结果服从约束，我们可以关于$\lambda$上升找到这个值，为了做到这一点，观察$$\frac{\partial L(x,\lambda )}{\partial \lambda }=x^{T}x-1$$
当x的范数超过1时，该导数是正的，所以为了跟导数上坡并相对$\lambda$增加Largnian,我们需要增加$\lambda$，因为$x^{T}x$的惩罚系数增加了，求解关于x的线性方程现在将得到具有较小范数的解，求解线性方程和调整$\lambda$的过程一直持续x具有正确的范数，并且关于$\lambda$的导数是0.