岭回归与Moore逆矩阵

回归分析是机器学习里面基本的算法，最小二乘估计，岭回归与矩阵的Moore有着内在联系。为方便说明，假定设计矩阵（高维样本的自变量样本值矩阵，也称自变量）为$X\in R^{n*p}$,因变量为$Y\in R^{n*1}$，其线性回归模型为$Y=X*\beta,\beta\in R^{p}$.

一 最小二乘估计

最小二乘估计来自于最小化损失函数：

$$Q(\beta)=\frac{1}{2}(Y-X\beta)^T(Y-X\beta)$$
可以看到，损失函数是参数 $\beta$的二次函数。最小化目标函数 $Q(\beta)$,只需要将损失函数对参数求导即可：
$$\frac{ \partial Q(\beta)}{ \partial \beta}=X^T(Y-X\beta)=0 \Rightarrow \beta=(X^TX)^{-1}X^TY \quad (1)$$

求得$\beta=(X^TX)^{-1}X^TY$，这就是最小二乘法的解法。
      但是问题是$X^TX$可能接近于零或者等于零，是一个病态矩阵，求逆在数值上不稳定，$X$的微小变化将导致$(X^TX)^{-1}$巨大变化，或者根本无法求逆。因此可能无法求得的参数$\beta$，或者$\beta$不稳定。
荐于以上情况，将$\beta=(X^TX)^{-1}X^TY$改为$\beta=(X^TX+\lambda I)^{-1}X^TY$，这就岭回归。

二 岭回归

      在最小二乘法的基础上化解$X^TX$病态问题而引入超参数$\lambda$。将岭回归还原到目标函数，有：

$$\beta=(X^TX+\lambda I)^{-1}X^TY\\ \Rightarrow (X^TX+\lambda I)\beta=X^TY\\ \Rightarrow X^TX\beta+\lambda \beta-X^TY=0\\ \Rightarrow X^T(X\beta-Y)+\lambda \beta=0 \quad(2)$$
对比（1）（2）两式，可以发现，岭回归实际上是在最小二乘法最小化损失函数上加了一个正则化项：:
$$Q'(\beta)=\frac{1}{2}(Y-X*\beta)^T(Y-X*\beta)+\frac{1}{2}\lambda \beta^T\beta \quad(3)$$

三 Moore逆

     任意一个矩阵$X$，求解线性方程组$Y=X\beta$,已知$Y,X$求解$\beta$。如果存在$A\in R^{p*n}$使得$AY=b$,则有$AY=AX\beta=\beta \to AX=I$称$A$是$X$广义逆矩阵。

      然而广义逆矩阵不一定存在，当X的秩$Rank(X)<p$时任意矩阵$A\in R^{p*n}$都有$Rank(AX)<p$,不存在$A\in R^{p*n}$使得$AX=I$。只有当$Rank(X)=p$时广义逆矩阵才存在。因为广义逆矩阵不一定存在，放弃$AX=I$这一要求，模岭回归可定义一个更广泛的逆矩阵。

Moore逆矩阵：任意一个矩阵$X\in R^{n*p}$,定义其Moore逆矩阵为：$A=(X^TX+\lambda I)^{-1}X^T$

从定义中我们可以看出，Moore逆与岭回归中求解参数式$\beta=(X^TX+\lambda I)^{-1}X^TY$一致，因此通过Moore逆矩阵求得的$\hat\beta=AY$,一定会最小化（3）式的损失函数$Q'(\beta)$。

根据线性方程组理论,对于解线性方程组$Y=X\beta$，令：$\hat \beta=AY$：
1. 当$Y=X\beta$有解时，有$Q'(\hat \beta)=0+\frac{1}{2}\lambda \hat \beta^T\hat \beta$，有$\sum_{i=1}^p \hat \beta_i^2$最小。
2. 当$Y=X\beta$无解时，有$\lim_{\lambda \to 0} Q'(\hat \beta)=\frac{1}{2}(Y-X*\hat \beta)^T(Y-X*\hat \beta)=Q(\hat \beta)>0$,模型误差最小。

在实际数值计算中，并不采用Moore的定义公式计算Moore逆，而是通过求解A的SVD分解来计算：
设： $X=UDV^T$，$D$是对角矩阵（非对角元素为零），则有：

$$\begin{array}{left} A & =(X^TX+\lambda I)^{-1}X^T\\ & =(VDU^TUDV^T-\lambda I)^{-1}VDU^T\\ &=(VD^2V^T-\lambda I)^{-1}VDU^T\\ &=(V(D^2-\lambda I)V^T)^{-1}VDU^T\\ &=V(D^2-\lambda I)^{-1}V^TVDU^T\\ &=V(D^2-\lambda I)^{-1}DU^T\\ \end{array}$$
令$H=(D^2-\lambda I)^{-1}D$，则有：

$$A=VHU^T \quad(4)$$
因此，计算 $X$的Moore逆，首先需要将X进行SVD分解，将D的每个对角线元素做映射$d_{ii} \to \frac{d_{ii}}{d_{ii}^2+\lambda} \equiv h_{ii}$ ，即 $H=D(D^2+\lambda I)^{-1}$，得到H的对角线元素值。然后按照(4)式相乘即可。

四 岭回归超参数含义

4.1 影响回归模型的解释性能

注意$\lambda$来自于损失函数$Q'(\beta)=\frac{1}{2}(Y-X*\beta)^T(Y-X*\beta)+\frac{1}{2}\lambda \beta^Tb$中后面一项$\frac{1}{2}\lambda \beta^Tb$,称之为损失函数的正则化项，且有：

$$\begin{array}{left} 2Q'(\hat \beta)&=(Y-X*\hat \beta)^T(Y-X*\hat \beta)+\lambda {\hat \beta}^T\hat \beta\\ &=(Y-X*AY)^T(Y-X*AY)+\lambda (AY)^T(AY)\\ &=Y^T\big[(I-XA)^T(I-XA)+\lambda A^TA\big]Y\\ &=Y^T\big[(I-A^TX^T-XA+A^TX^TXA+\lambda A^TA\big]Y\\ &=Y^T\big[(I-UHDU^T-UDHU^T+UD^2H^2U^T+\lambda UH^2U^T\big]Y\\ &=Y^TU\big[(I-2HD+D^2H^2+\lambda H^2\big]U^TY\\ &=Y^TU\big[(I-2D(D^2+\lambda I)^{-1}D+D^2(D(D^2+\lambda I)^{-1})^2+\lambda (D(D^2+\lambda I)^{-1})^2\big]U^TY\\ &=Y^TU\big[(I-2D^2(D^2+\lambda I)^{-1}+D^2D^2((D^2+\lambda I)^{-1})^2+\lambda D^2((D^2+\lambda I)^{-1})^2\big]U^TY\\ &=Y^TU\big[(I-D^2(D^2+\lambda I)^{-1}\big]U^TY\\ &=Y^TU\big[\lambda I(D^2+\lambda I)^{-1}\big]U^TY\\ &=\lambda Y^TU\big[(D^2+\lambda I)^{-1}\big]U^TY\\ \end{array}$$

对坐标做旋转，选取$Z=U^TY,\hat X=U^TX=DV^T \to \hat X{\hat X}^T=D^2$,则损失函数可以表示为：

$$2Q'(\hat\beta)=\sum_{i=1}^n\frac{\lambda}{d_{ii}^2+\lambda}z_i^2$$
从坐标旋转后的空间来看，

1. 当$d_{ii}=0$时，表示$\hat X$在方向$U_i$分量值为零，$Z$在该子方向的方差是$z_i^2$,所以有$\frac{\lambda}{d_{ii}^2+\lambda}z_i^2=z_i^2$，可知在该子方向上，因变量的方差不能被模型解释；
2. 当$d_{ii}\ne 0$时在$U_i$方向上被解释方差为$z_i^2-\frac{\lambda}{d_{ii}^2+\lambda}z_i^2 =d_{ii}^2/(d_{ii}^2+\lambda)z_i^2$,说明自变量在该方向上方差越大，解析因变量方差越多，但同时$\lambda$越大，模型解释能力越差。
3. 因此超参数在保证数值稳定的情况下，应当尽量设置一个较小的值，提高模型的解释能力。

4.2 损失函数在参数解附近的性质

考察损失函数在$\hat \beta$附近的海塞矩阵有：

$$\frac{ \partial^2 Q'( \beta)}{ \partial \beta\partial \beta^T}\bigg|_{\beta=\hat\beta}=X^TX+\lambda I =U(D^2+\lambda I)U^T$$
同上，经坐标旋转后有：
$$\frac{ \partial^2 Q'(\hat \beta)}{ \partial \beta\partial \beta^T}=D^2+\lambda I$$
损失函数在 $\hat \beta$附近的，沿任意特征方向 $U_i$的曲率正比于 $1/(d_{ii}^2+\lambda)$， $\lambda$越大，损失函数在此点 $\hat \beta$附近越平坦；当 $\lambda=0$时该损失函数退化到最小二乘法，解也退化到最小二乘法的解，此时曲率最大。

岭回归倾向于把模型参数的解往更平坦的地方移动。一般而言，任意损失函数添加二次正则项$\lambda \beta^T\beta$，都会使得解往更平坦的地方移动。