机器学习：概率视角的线性回归（Linear Regression）

前言

上一节我们说到了一元线性回归·与·多元线性回归，大家如果还不清楚，可以去考古。
之前，我们用最小二乘估计，推导出来：
$W^{\ast }=argmin(L(W))$
$W^{\ast }=(X^T\ast X^{-1})\ast X^T\ast Y$
在这一小节中，我采取概率的视角来解决线性回归问题。

推导过程

还是这一张图，我们可以发现，如果让拟合的直线与每个观测值x的距离都为0，也就是误差为0，但是这情况是不会出现的，因为数据本身就具有不确定性，带有一定的噪声。如果真有这种情况，这个模型也没有任何意义，只能解决特定问题。
1.我们假设噪声服从正态分布$ϵ$~N(0,${\sigma }^2$)

2.设$f(W)=W^{T}X$，我们给函数引入噪声，$y=f(W)+ϵ$ ,其中$ϵ$~N(0,${\sigma }^2$)

3.那么$y(|X,W)$ ~N($W^{T}X$,${\sigma }^2$)

4.我们把y的均值与方差带入正态方程概率密度函数，得到下面pdf，
$p(y|X,W)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-W^{T}X{)}^2}{2{\sigma }^2})$

5 接着我们利用MLE（极大似然估计），通过已有的数据推出最有可能的概率模型，得出最优参数W。

6.设log-似然函数:
$L(W)=\ln {\prod }_{i=1}^{n}p(y_i|x_i,W)$
$L(W)={\sum }_{i=1}^n\ln p(y_i|x_i,W)$
$L(W)={\sum }_{i=1}^n\ln \frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-W^T{x}_i{)}^2}{2{\sigma }^2})$
$L(W)={\sum }_{i=1}^n\ln \frac{1}{\sqrt{2\pi }\sigma }-(\frac{(y_i-W^T{x}_i{)}^2}{2{\sigma }^2})$
$W^{\ast }=argmaxL(W)$
$W^{\ast }=argmax{\sum }_{i=1}^n\ln \frac{1}{\sqrt{2\pi }\sigma }-(\frac{(y_i-W^T{x}_i{)}^2}{2{\sigma }^2})$
$W^{\ast }=argmax{\sum }_{i=1}^n-(\frac{(y_i-W^T{x}_i{)}^2}{2{\sigma }^2})$
$W^{\ast }=argmax{\sum }_{i=1}^n(y_i-W^T{x}_i{)}^2$

结论归纳

求到最后，我们可以看出，这与之前讲过的最小二乘估计的Cost function是一致的，可以得出结论最小二乘估计隐含了噪声服从正态的假设，从概率角度的MLE（极大似然估计）与MSE（最小二乘估计）本质是一样的。