机器学习｜线性回归 公式推导 模型扩展(脊回归、岭回归、多重共线性、样本权重)

摘要

线性回归是最基本的机器学习模型之一，它可以探索自变量和因变量之间的相关性，被广泛应用于各个领域。本篇博客侧重于模型的参数推导，并在此基础上，对线性回归基础模型进行扩展，包括引入正则化项、引入样本权重等。

一、参数求解

面对数据集 D = { x i , y i } i = 1 N ( x i ∈ R d ， y i ∈ R ) D={\{x_i, y_i\}^{N}_{i=1}}(x_i \in R^{d}，y_i \in R) D={ xi​,yi​}i=1N​(xi​∈Rd，yi​∈R)，我们构造线性回归模型$y_{n\times 1}=X_{n\times d}{w}_{d\times 1}$，求解一组系数$w$，使平方损失函数$L=\frac{1}{2N}{\sum }_{i=1}^N(x_{i}w-y_i{)}^2=||Xw-y|{|}^2$达到最小。即，在已知数据集上，求解一组系数$w$，使经验风险$R_{emp}(w)$最小。

根据损失函数，经验风险$R_{emp}(w)$可表示为：
$R_{emp}(w)$
$=\frac{1}{2N}(Xw-y{)}^T(Xw-y)$
$=\frac{1}{2N}(w^T{X}^T-y^T)(Xw-y)$
= 1 2 N ( w T X T X w − w T X T y − y T X w + y T Y ) =\frac{1}{2N}(w^{T}X^{T}X w - w^{T}X^{T} y-y^{T}X w + y^{T}Y) =2N1​(w