加权最小二乘法的理解

在需要人为地改变观测量的权重的应用场合中，都会涉及到加权最小二乘法的应用。

那什么什么是加权最小二乘法？

加权最小二乘法的概念：
加权最小二乘是对原模型进行加权，是该模型成为 一个新的不存在异方差性的模型，然后对该新模型使用普通最小二乘法估计其参数进行优化。

相关概念梳理：

异方差性的解释：随机误差的方差不全相等。异方差性是相对于同方差而言的，同方差是为了保证回归参数估计量具有良好的统计特性。也就是线性回归函数中的随机误差项（扰动项）必须满足同方差性，即方差都相同。

异方差性存在的影响：如果随机误差项的均值为零，则彼此独立，但是方差不等，即使最小二乘估计具有无偏性和一致性，但却不是最优线性无偏估计。因此回归模型的预测值会波动较大。

无偏性：
如果总体参数为seta，seta1为估计量，如果E(seta1)=seta，那么seta1为seta的无偏估计量。

一致性：
样本数目越大，估计量就越来越接近总体参数的真实值。如果seta1在seta周围震荡，那么满足无偏性却不满足一致性。

有效性：
指估计量与总体参数的离散程度，如果两个估计量都是无偏的，那么离散程度较小的估计量相对来说是有效的，离散程度用方差来衡量。

如果线性回归模型存在异方差性，则用传统的最小二乘法估计模型，所得到的参数估计不是有效估计量，也无法对参数模型参数进行有关显著性检验。这时异方差性就破坏了古典的模型，用正常的无权重最小二乘就不能进行正确估计。

异方差的修正

如果模型检验出存在异方差性，就用加权最小二乘法进行估计。
加权最小二乘法的基本思想：
对原模型进行加权，使之变成一个新的不存在异方差性的模型，然后再采用 OLS 估计其参数。

附注：本文不涉及具体公式的推导，二是从概念上进行理解。