线性回归的多重共线性问题及其解决

线性回归的多重共线性

1. 前提

1. 线性回归的矩阵表示
   $$y=X^T\times \omega$$
   假如有m个训练样本，则
   
2. 损失函数的定义
   在此，我们使用最常用的损失函数SSE(平方误差)来定义线性回归的损失函数
   
   用矩阵表示：
   $$SSE={\left(y-X\omega \right)}^T\left(y-X\omega \right)$$

2. 由损失函数推导ω(基于最小二乘法OLS)

根据损失函数的定义，我们在线性回归中是想让损失函数越小越好，因此我们需要用极限(求导)的方式使得损失函数取到最小值。
$$L_{loss}=SSE={\left(y-X\omega \right)}^T\left(y-X\omega \right)$$
d L l o s s d ω → 0 \frac{\mathrm{d} L_{loss}}{\mathrm{d} \omega} \rightarrow 0