线性回归：最小二乘法

最小二乘法

最小二乘法解决的问题时模型的拟合问题。给定一组样本和一个假设的模型，通过样本来估计模型的参数，使得模型能更好的代表一组抽样样本来描述整体样本空间。

<1>那么就有一个问题，如何来评价拟合出来的参数所表达的模型？

答：一种提法就是使得真实的数据与模型的输出数据之间的误差平方和最小（MSE）。

<2>接着问题，为什么选用误差平方和来作为模型拟合效果的评价指标？比如选用差的绝对值。

答：现实生活中很多误差分布是呈现正态分布的，比如你去测量一个物体的长度，你多次测量的结果与真实值得误差就是满足一个正态分布。那么样本中的数据中的数据与根据模型的出来的数据之间的差值满足正态分布。为了刻画这种抽样出来的样本是很大概率的满足整体样本的分布情况，可以使用似然函数（所有误差概率的乘积）来描述这种可能性。本质上来说，模型的拟合都是一个求取最大似然函数的过程。过最大化这个似然函数就能认为这个样本很大的概率满足假设。

<3> 参数求法

写出最小均方误差和的表达式后，代入相应的数据，那么该式就变成了一个关于参数的函数了。对于该函数求解最小值就ok。

一种方法是利用在最小值处满足偏导数为0，构建方程组接触各个参数的值，从而获得模型的解析解。

一种方法是利用梯度下降法，在每一个参数上按照梯度下降的方向进行搜索，直至收敛，从而获得模型的数值解。

<4>最小二乘的概率解释