借用李航老师的思想,我们将按模型+策略+方法的步骤来介绍内容。
1. 数据提出
X为总体样本,共有N个样本。
xi为单个样本,每个样本包含P个维度的特征。
Y为标签。
2. 最小二乘估计
2.1 模型
2.1.1 模型提出
, ~ N(0,) , ~N(,0),y ~ N(,)
2.2 策略
2.2.1 策略来源 - 几何视角
为每个样本的预测值与真实值的距离,该距离可以理解为噪声为正态分布的的标准差。可以理解为噪声为正态分布的的方差。我们的目标是使这一方差达到最小,从而最大化减少损失。因此,从几何的角度,即减少每一个预测值到真实值的距离从而减少损失,提出了该策略。
2.2.2 策略来源 - 概率视角
已知 y ~ N(,), 根据该分布,可以用最大似然估计,找到使似然最大的最优参数。
以下是从概率角度出发的得到的策略推导过程
2.3 算法
2.3.1 算法推导
3.岭回归
3.1 模型
, ~ N(0,) , ~N(,0),y ~ N(,)