正则化最小二乘与条件数（cond）

来源于自学《凸优化》和《矩阵分析与应用》笔记

1. 正则化最小二乘

给定$A\epsilon R^{m\times n}$,$b\epsilon R^{m }$,为函数F1和F2两个目标的优化问题，$Ax中A为已知系数矩阵，x表示要求的系数参数，b表示真实值，label, 或者y值$

$$F_{1}(x)=||Ax-b||_{2}^{2}=x^{T}A^{T}Ax-2b^{T}Ax+b^{T}b$$
$$F_{2}(x)=||x||_{2}^{2}=x^{T}x$$

也就是无约束的两准则问题，

$$minimize \qquad f_{0}(x)=(F_{1}(x),F_{2}(x))$$
选择 $\lambda _{1}>0,\quad \lambda_{2}>0$
则问题变为，
$$\lambda ^{T}f_{0}(x)=\lambda _{1}F_{1}(x)+\lambda _{2}F_{2}(x)$$
$$=\lambda ^{T}(\lambda _{1}A^{T}A+\lambda _{2}I)x-2\lambda_{1}b^{T}Ax+\lambda_{1} b^{T}b$$
因为 $Ax=b$,所以上式化为
$$x^{T}(\lambda A^{T}A+\lambda_{2}I)x-\lambda _{1}b^{T}Ax$$
$$x=(\lambda _{1}A^{T}A+\lambda _{2}I)^{-1}\lambda_{1}A^{T}b=(A^{T}A+\mu I)^{-1}A^{T}b$$
其中 $\mu =\lambda_{2}/\lambda_{1}$,
此时 $\mu$理解为F2相对于F1的权值

2 条件数，condition number
实际上，我们平时见到的普通最小二乘函数是这样的，$Ax=b$也就是
$minmize\quad\sum (Ax-b)$,采用平方/二次的形式，或者叫欧式距离，是\

$$minmize\quad\sum (Ax-b)^{2}$$
用矩阵表示也就是
$$minmize\quad\sum (Ax-b)(A^{T}x^{T}-b^{T})$$
其中的假设是，自变量x不含误差，只有因变量b存在服从正态分布的误差，但是很多时候，我们违反了假设，自变量也有误差，所以需要把上式化为，
$$(A+\sigma A)(x+\sigma x)=b$$
上式推导出
$$\sigma x=(A+\sigma A)^{-1}b-A^{-1}b$$
$$=[(A+\sigma A)^{-1}-A^{-1}]b$$
$$= -A^{-1}\sigma A(x+\sigma x)$$

由此得,$||\sigma x||_{2}\leq ||A^{-1}||_{2}||\sigma A||_{2}||x+\sigma x||_{2}$

$$\frac{||\sigma x||_{2}}{||x+\sigma x||_{2}}=(||A||_{2}||A||^{-1}_{2}) \frac{||\sigma A||_{2}}{||A||_{2}}$$ ,
向量X的相对误差与数值， $cond(A)=||A||_{2}\cdot||A^{-1}||_{2}$
称 $cond(A)为矩阵A的条件数，有时也用k(A)表示$