深入理解线性模型（二）---基于似然函数的估计

更新时间：2019.10.31

1. 引言

  在上一篇中，我们从损失函数的角度出发讨论了\(\beta\)和\(\sigma\)的估计。在本篇将换一种极具统计味道的角度，从似然函数出发来讨论了\(\beta\)和\(\sigma\)的估计。从中我们也将看见，在不同的假设中，损失函数将会发生不同的变化。

2. 关于\(\varepsilon\)假设

  在上一篇(基于损失函数的估计)中，我们提到，对于线性模型，我们常常使用Guass-Markon假设，即：

1. \(E(\varepsilon) = 0\)
2. \(cov(\varepsilon) = \sigma^2 I_n\)

  但是，实际上我们同方差的假设是总是不满足的，完整来说，对\(\varepsilon\)的假设应该有三种：

1. 同方差，且各个随机误差变量不相关：\(cov(\varepsilon) = \sigma^2 I_n\)
2. 异常差，但各个随机误差变量不相关，\(cov(\varepsilon) = diag(\sigma_1^2, \sigma_2^2, \cdots, \sigma_n^2)\)
3. 异方差，且各个随机误差变量是相关的，
   \[ cov(\varepsilon) = \begin{pmatrix} \sigma_{11}^2 & cov(\varepsilon_1, \varepsilon_2) & \cdots & cov(\varepsilon_1, \varepsilon_n)\\ cov(\varepsilon_2, \varepsilon_1) & \sigma_{22}^2 & \cdots & cov(\varepsilon_2, \varepsilon_n)\\ \vdots & \vdots & & \vdots\\ cov(\varepsilon_n, \varepsilon_1) & cov(\varepsilon_n, \varepsilon_2) & \cdots & \sigma_{nn}^2 \end{pmatrix} \]

  此时，记\(cov(\varepsilon) = \Sigma\)

3. 基于似然函数的估计

  之前是从损失函数的角度进行参数的估计，但是实际上每个损失函数都应该对应着一个分布，并使得分布的似然函数达到最大
  我们知道在X给定的情况下，似然函数\(L(\theta;Y,X) = P_{\theta}(Y_1 = y_1, Y_2 = y_2, \cdots, Y_n = y_n)\)。假设