回归分析

【一元线性回归】

$\quad$设有两个随机变量$X、Y$具有统计关系，即当$X$变化时，$Y$也相应地变化，但关系不确定。当 $X=x_0$ 时，$Y$可能取得很多值，为求得它们的关系，我们以 $X=x_0$ 时$Y$的所有可能取值的平均来代表$y$，即取 $y_0=E(Y|X=x_0)$（这是$X=x_0$时的$Y$的条件期望）,当$x_0$在其定义域内变化时得函数：

$$y=E(Y|E=x)\triangleq\mu(x)$$
$\quad$这是一个确定的函数，它大略反应了 $X$与$Y$的变化规律。称之为 $Y$对$X$的 回归方程。
$\quad$ 在“均方意义”下回归方程 $y=\mu(x)$ 是最优的。

$\quad$在$\mu(x)=a+bx$ 的假定下所谓的一元线性回归问题。若再假设：

$$y\sim N(a+bx,\sigma^2)$$
$\quad$或改写为：
$$y=a+bx+\varepsilon\qquad \varepsilon\sim N(0,\sigma^2)\qquad(1)$$
$\quad$其中 $a、b、\sigma^2$为不依赖 $x$的未知参数。称其为一元线性回归模型。
$\quad$由样本得到式（1）中 $a,b$估计 $\hat{a},\hat{b}$便得到 $y$关于$x$的 线性回归方程：
$$\hat{y}=\hat{a}+\hat{b}x$$
$\quad$引入：
$$\left\{ \begin{array}{l} S_{xx}=\sum_{i=1}^{n}(x_i-\overline{x})^2=\sum_{i=1}^{n}x_i^2-\frac{1}{n}(\sum_{i=1}^{n}x_i)^2 \\ S_{yy}=\sum_{i=1}^{n}(y_i-\overline{y})^2=\sum_{i=1}^{n}y_i^2-\frac{1}{n}(\sum_{i=1}^{n}y_i)^2 \\ S_{xy}=\sum_{i=1}^{n}(x_i-\overline{x})\cdot(y_i-\overline{y})=\sum_{i=1}^{n}x_iy_i-\frac{1}{n}(\sum_{i=1}^{n}x_i)(\sum_{i=1}^{n}y_i) \\ \end{array} \right.$$
$\quad$由最小二乘法或极大似然估计可得：
$$\left\{ \begin{array}{l} \hat{b}=\frac{S_{xy}}{S_{xx}}\\ \hat{a}=\frac{1}{n}\sum_{i=1}^{n}y_i-(\frac{1}{n}\sum_{i=1}^{n}x_i)\hat{b} \end{array} \right.$$

$\quad$关于$\sigma^2$的估计使用残差平方和：

$$Q_e=\sum_{i=1}^{n}(y_i-\hat{y_i})^2=\sum_{i=1}^{n}(y_i-\hat{a}-\hat{b}x_i)^2$$
$\quad$经分解计得：
$$Q_e=S_{yy}-\hat{b}S_{xy}$$
$\quad$ $\hat{\sigma}^2=\frac{Q_e}{n-2}$是 $\sigma^2$无偏估计。

【多元线性回归】

$\quad$多元线性回归模型：

$$y=b_0+b_1x_1+\cdots+b_mx_m+\varepsilon\qquad \varepsilon\sim N(0,\sigma^2)$$
$\quad$采用二乘法和求偏导数，整理后得到方程组，引入矩阵：
$$X=\left[\begin{matrix} 1 & x_{11} & \cdots & x_{1m}\\ 1 & x_{21} & \cdots & x_{2m}\\ \vdots & \vdots & \ddots & \vdots\\ 1 & x_{n1} & \cdots & x_{nm}\\ \end{matrix}\right]\qquad Y=\left[\begin{matrix} y_1\\y_2\\\vdots\\y_n \end{matrix}\right] \qquad B=\left[\begin{matrix} b_0\\b_1\\\vdots\\b_m \end{matrix}\right]$$
$\quad$则方程组可写成：
$$X^TXB=X^TY$$
$\quad$于是可解得：
$$B=\left[\begin{matrix} b_0 \\b_1 \\\vdots \\b_n \end{matrix}\right] 的估计值： \hat{B}=\left[\begin{matrix} \hat{b}_0 \\ \hat{b}_1 \\\vdots \\ \hat{b}_n \end{matrix}\right] =(X^TX)^{-1}X^TY$$
$\quad$称方程：
$$\hat{y}=\hat{b}_0+\hat{b}_1x_1+\cdots+\hat{b}_mx_m$$
$\quad$为 m元线性回归方程
$\quad$其残差平方和为：
$$Q_e=\sum_{i=1}^{n}(y_i-\hat{y}_i)=Y^T[E_n-X(X^TX)^{-1}X^T]Y$$
$\quad$可以得到： $E(Q_e)=(n-m-1)\sigma^2$，即：
$$\hat{\sigma}^2=\frac{Q_e}{n-m-1}$$
$\quad$是 $\sigma^2$的无偏估计。