普通最小二乘法，加权最小二乘法，广义最小二乘法之初次理解

所谓回归分析实际上就是根据统计数据建立一个方程， 用这个方程来描述不同变量之间的关系， 而这个关系又无法做到想像函数关系那样准确， 因为即使你重复全部控制条件，结果也还有区别， 这时通过让回归方程计算值和试验点结果间差值的平方和最小来建立 回归方程的办法就是最小二乘法，二乘的意思就是平方。 最小二乘就是指回归方程计算值和实验值差的平方和最小。

首先普通最小二乘法是作为回归来使用，将预测值和真实值去比较，是这个误差函数最小，至于为什么叫二乘，因为这里取得是预测值和真实值的平方。

普通最小二乘法经常会引起欠拟合，因为普通最小二乘法将所有的序列值设置为相同的权重；但是对于实际中来说，一个时间序列，最近发生的应该比先前发生的更加重要，所以我们应该将最近发生的赋予更大的权重，先前发生的赋予小一点的权重，这种就变成了加权最小二乘法。

对于普通最小二乘法，因为种种原因（原因以后分析。。）残差项要满足很多的条件，如同方差性，但是因为现实中的数据可能达不到这样那样的要求，所以这个时候就出现了广义最小二乘法，所以如下引用：

1.如果存在外部协方差,即协方差阵不是对角阵，就是广义最小二乘

2.如果协方差阵是对角阵，且对角线各不相等，就是权重最小二乘

3.如果协方差阵是对角阵，且对角线相同，就是普通最小二乘

另外在知乎上看到一个比较形象的解释：

简单举个例子，具体就不用符号了，推来推去太复杂。假设你有一把尺子，去测量一个物体的长度。你用同一把尺子测量n次，每次的测量误差就是这个尺子的误差（忽略其他因素），这就是我们所说的最小二乘里的同方差假定。
现在你换一种方法，还是测量n次，但是你每次测量用的尺子精度不一样，有点大，有的小。这就是说所谓的“异方差”，这个时候你用普通最小二乘，就会导致估计不一致，这个时候，你想到一个办法就是，对于估计量中的样本，除以相应样本的那把尺子的误差，这样处理之后，就又变成同方差了。

作者：gurudk
链接：https://www.zhihu.com/question/37930145/answer/140471525
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

将看到的比较好的解释放在这里：

机器学习笔记----最小二乘法，局部加权，岭回归讲解