用故事讲清楚统计学的多变量回归模型

对于我们的多变量回归模型。我们有五个最基本的，也是最重要的假设:

1. yi = β1 +β2x2i +β3x3i +···+βKxKi +ui
2. We have a random sample of n observations
3. E(ui|x) = 0
4. V ar(ui|x) = σ2
5. No Perfect Collinearity
6. (optional) u|X ∼ N(0, σ2In)
7. Cov(ui,uj|x) = 0 for all i ̸= j

在前五个假设成立的情况下，根绝 Gauss-Markov Theorem, 我们把 bi 称为所对应 βi 的 Best Linear Unbiased Estimator (BLUE)。

1. Best: The estimators bi is the best in the sense that they have smallest variances than any other linear and unbiased estimators.
2. Linear: The LS estimators bi are linear function of y
3. Unbiased: point estimator (bi) equal to the true parameter values (βi) in expecta-
   tion.

我们也可以用以下的数学公式来表示 unbiasedness E(bi|x) = βi
我们可以理解为，虽然我们每一次的预测都不一定可以得到准确的值，但是当我们 重复我们的实验，所有的实验预测值的平均值会是真实模型中的真实值。特别注意， 所有通过 Least Square 方法得到的 Estimator 都是 unbiased estimato