对于我们的多变量回归模型。我们有五个最基本的,也是最重要的假设:
- yi = β1 +β2x2i +β3x3i +···+βKxKi +ui
- We have a random sample of n observations
- E(ui|x) = 0
- V ar(ui|x) = σ2
- No Perfect Collinearity
- (optional) u|X ∼ N(0, σ2In)
- Cov(ui,uj|x) = 0 for all i ̸= j
在前五个假设成立的情况下,根绝 Gauss-Markov Theorem, 我们把 bi 称为所对应 βi 的 Best Linear Unbiased Estimator (BLUE)。
- Best: The estimators bi is the best in the sense that they have smallest variances than any other linear and unbiased estimators.
- Linear: The LS estimators bi are linear function of y
- Unbiased: point estimator (bi) equal to the true parameter values (βi) in expecta-
tion.
我们也可以用以下的数学公式来表示 unbiasedness E(bi|x) = βi
我们可以理解为,虽然我们每一次的预测都不一定可以得到准确的值,但是当我们 重复我们的实验,所有的实验预测值的平均值会是真实模型中的真实值。特别注意, 所有通过 Least Square 方法得到的 Estimator 都是 unbiased estimato