目录
LSE最小二乘估计
Data X是N个P维,Label Y是N个1维,利用最小二乘估计计算参数矩阵W的值,WTxi - yi相当于到直线的距离;
也可以通过几何解释,把xT看作是P维向量空间,y向量到P维空间的最近的向量就是y在P维空间的投影:X,所以X与y-xβ是垂直的,即XT * (y-xβ) = 0,求出的β = W。
高斯噪声的MLE
直线满足一个高斯的噪声,y则满足均值为WTX,σ^2的高斯,通过极大似然估计得出参数W的结果和LSE的结果一样,说明LSE默认隐含高斯分布的噪声。
岭回归
如果数据量没有远大于维度,容易过拟合,可以通过正则化的方式加入惩罚项再用LSE计算;
通过结果可以看出,加入岭回归后的W的解析解中XTX + λI 一定是可逆的。
贝叶斯角度
通过贝叶斯求最大后验概率,先验也满足的高斯分布的情况下,W就等于LSE岭回归求出的解。
有问题可以+v: llllChrist,注明csdn。