加权最小二乘法

加权最小二乘法

参考文献

加权最小二乘法与局部加权线性回归

逻辑

1. 普通最小二乘法OLS
2. 加权最小二乘法
   (1) 广义最小二乘法（加权最小二乘法是广义最小二乘法的一种特殊情形）
   (2) 加权最小二乘法
   (3) 广义最小二乘 & 普通最小二乘模型 的转换

一 普通最小二乘法OLS

普通最小二乘法的回归模型：$$Y=X\beta +ϵ$$
$Y:n\ast 1,X:n\ast p,ϵ:p\ast 1,$ 由于有常数项，所以自变量个数其实是 $p-1$ 个.

普通最小二乘法就是使得 残差平方和 最小：$$RSS(\beta )=||Y-X\beta |{|}^2=(Y-X\beta {)}^T(Y-X\beta ).$$ $\beta$ 的估计：$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y.$

在该假设下，估计 $\hat{\beta }$ 是 $\beta$ 所有线性无偏估计中方差最小的。

二 加权最小二乘法

加权最小二乘法是广义最小二乘法的一种特殊情形，普通最小二乘法是一种特殊的加权最小二乘法。
普通最小二乘法 $\in$ 加权最小二乘法 $\in$ 广义最小二乘法

1 广义最小二乘法

广义最小二乘法模型：

$\Sigma$ 是我们已知的一个 $n\ast n$ 正定对称矩阵，其中 ${\sigma }^2$ 不一定是已知的。且不要求误差项 $ϵ$ 的各分量间互不相关了。

广义最小二乘法就是使得 广义残差平方和 最小：$$RSS(\beta )=(Y-X\beta {)}^T{\Sigma }^{-1}(Y-X\beta ).$$ $\beta$ 的估计：$\hat{\beta }=(X^T{\Sigma }^{-1}X{)}^{-1}{X}^T{\Sigma }^{-1}Y.$

2 加权最小二乘法

加权最小二乘法：对上述的 $\Sigma$ 取一种特殊的矩阵——对角阵，且这个对角阵的对角元都是常数，也就是权重 $w_i$ 的倒数.
C o v ( ϵ ) = σ 2 Σ = σ 2 (