《数学基础》-1.线性代数-1.4.矩阵的特征值和特征向量

1.6.多元线性回归方程估计

1.6.1.多元线性回归方程

现在有N个样本，每个都是n维的。

1.6.2.多元线性回归方程的求解

然后对a求偏导

利用矩阵的求导公式：

由以上求导公式得：

令(6)=0得:

 

情况1，N>n，样本数>维度（参数个数）

根据上节课SVD分解证明的先导推论里面有:

到这里就把a解出来了，也把a的右边的表达式称为X的伪逆矩阵。

情况2，N<n，样本数<维度（参数个数）

这个情况参数比样本数要多，也就是出现了过拟合的现象。为了解决这个现象，我们通常是要采用正则化来解决，也就是：

求导的结果也就变成：

令公式（8）等于0，并化简：

所以公式（9）整体恒大于0，所以公式（9）是正定的，其对应的特征值，且一定可逆。

为什么叫岭回归呢？因为这个东西的形式就是在对角线上加了一项λ，就好像中间对角线好比一道山岭，通过加上λ使其更加的高耸。