奇异值分解与最小二乘问题

  很多线性回归器的损失函数为均方误差：

$$loss=\Vert Xw-y\Vert_2^2$$
  求解模型参数，需要最小化损失函数：
$$min \Vert Xw-y\Vert_2^2$$
$$X \in R^{m*n},w \in R^{n},y \in R^{m}$$
  该类问题分为三种情况：
  1.m=n且X为非奇异矩阵，这时 $Xw=y$有唯一解： $w=X^{-1}y$
  2.m>n，即约束个数大于方程个数，此时 $Xw=y$无解，该类问题称为超定问题。
  3.m<n，即约束个数小于方程个数，此时 $Xw=y$有无穷解该类问题称为欠定问题

  在机器学习中，绝大部分问题都是样本数大于特征数，对应于超定问题，并且一般情况下为非一致方程，此时方程无解（一致方程的超定问题是有解的，通过求解广义逆矩阵），因此转向求解最小二乘问题，即最小化$\Vert Xw-y\Vert_2^2$，将其转化为矩阵形式，求导，另导数为0，可以解得：

$$w=(X^TX)^{-1}X^Ty$$
推导见： 线性最小二乘求解
  这种求解方式有几个问题：
1. 涉及到n*n维矩阵的求逆运算，实际使用中计算量巨大。
2. $X^TX$可能不可逆，这个可以用 l2正则或者求解 伪逆的形式解决。

SVD奇异值分解

  不同于特征值分解使用的情景受限，对于任意一个矩阵$A\in R^{m*n}$，都可以分解为：

$$svd(A)=[U][S][V^T]$$
  其中： $U\in R^{m*m}，S\in R^{m*n}，V\in R^{n*n}$
   $U$的列向量为$A$的左奇异向量，也即 $AA^T$的特征向量； $V^T$的列向量为 $A$的右奇异向量，也即$A^TA$的特征向量， $S$为$\begin{bmatrix} \Sigma \\0 \end{bmatrix}$， $\Sigma$为对角矩阵，其值为矩阵 $A$的奇异值$\sigma$，即 $AA^T$的特征值 $\lambda=\sigma^2$， $U$和$V^T$都是正交矩阵。
  证明：
$$AA^T=USV^T(USV^T)^T=US(V^TV)S^TU^T=U(SS^T)U^T$$ $$(AA^T)U=\bar\Sigma U$$ $$A^TA同$$
  再来看最小二乘问题：
$$\Vert Xw-y\Vert_2^2=\Vert U\begin{bmatrix} \Sigma \\0 \end{bmatrix}V^Tw-b\Vert=\Vert\begin{bmatrix} \Sigma \\0 \end{bmatrix}V^Tx-Uy\Vert$$
   $U$可以拆解为$[U_n,U_{m-n}]$，因此上式：
$$=\Vert\begin{bmatrix} \Sigma \\0 \end{bmatrix}V^Tw-[U_n,U_{m-n}]^Ty\Vert$$ $$=\Vert\begin{bmatrix} \Sigma V^Tw-U_n^T \\ -U_{m-n}^Ty\end{bmatrix}\Vert$$ $$=\Vert \Sigma V^Tw-U_n^Ty \Vert+\Vert U_{m-n}^Ty\Vert \ge \Vert U_{m-n}^Ty\Vert$$
  也即当 $\Vert \Sigma V^Tw-U_n^Ty \Vert=0$ 时上式取等号，此时 $\Vert Xw-y\Vert_2^2$取最小值，解得：
$$w=(\Sigma V^T)^{-1}U_n^Ty=V\Sigma^{-1}U_n^Ty$$
  按照SVD的方式必有解，这里 $\Sigma$是对角矩阵，求逆很简单， $U$和$V$都是正交矩阵，因此转置与其逆矩阵相等。
  通常情况下 $\Sigma$是按照奇异值由大到小排列的，且衰减的特别快，一般前10%的奇异值之和就占到了总和的95%以上，因此我们可以将小于某个阈值的的奇异值及其对应的左右奇异向量全部舍弃掉，进而进一步的进行矩阵规模的缩减，在sklearn中就是采用的这种方式，只不过在求解 $\Sigma$的逆矩阵时，阈值=1e-15，多用了一个alpha参数， $\Sigma^{-1} = \frac{\Sigma}{\Vert\Sigma + alpha\Vert}$。

---

  特别地，对于齐次方程的超定问题：

$$min\Vert Xw\Vert$$
  我们有：
$$\Vert Xw\Vert=w^T(X^TX)w$$
   假设 $w$为$X^TX$的特征值，约束 $\Vert w\Vert$=1，上式化简为:
$$min\Vert Xw\Vert=min\lambda^2\Vert w\Vert=min\lambda^2$$
  因此我们需要求解的 $w$即是$X^TX$最小特征值对应的特征向量，对X进行svd，根据前面的理论，我们只需找到 $S$中最小的特征值对应于$V$的特征向量即是 w <script type="math/tex" id="MathJax-Element-57">w</script>的值。