数学小抄:线性回归与协方差

前言

最近在阅读论文时,有一篇论文提到了一个广义的线性回归.在介绍中,它提到了线性回归的斜率与协方差的关系. 下面简单推导一下, 加深理解.

正文

1. 线性回归: 寻找一条直线$y=x\beta +\alpha$ 满足数据之间的误差平方最小
   $$(\hat{\alpha },\hat{\beta })=\underset{(\alpha ,\beta )}{\mathrm{argmin}}\sum _{n=1}^N||y_i-\alpha -x_i\beta |{|}^2$$

2. 右边式展开以及求偏导
   $$\begin{array}{rl}& =\sum _{n=1}^N{y}_i^2-\sum _{n=1}^{N}2\alpha y_i-\sum _{n=1}^{N}2\beta y_i{x}_i+\sum _{n=1}^{N}2\alpha \beta x_i+\sum _{n=1}^N{\beta }^2{x}_i^2+\sum _{n=1}^N{\alpha }^2\\ & =N\overline{y^2}-N2\alpha \bar{y}-2\beta N\overline{yx}+2\alpha \beta N\bar{x}+{\beta }^{2}N\overline{x^2}+N{\alpha }^2\end{array}$$
   对$\beta$求偏导并令其为0有(1):
   $$-\overline{yx}+\alpha \bar{x}+\beta \overline{x^2}=0$$
   对$\alpha$求偏导并令其为0有(2):
   $$-\bar{y}+\beta \bar{x}+\alpha =0$$
   (2)代入(1)有:
   $$\beta =\frac{\overline{yx}-\bar{y}\bar{x}}{\overline{x^2}-{\bar{x}}^2}$$
   $\alpha =\bar{y}-\beta \bar{x}$

3. 协方差公式:
   $$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[XY-XE(Y)-YE(X)+E(X)E(Y)]$$
   $$Cov(X,Y)=E[XY]-E[X]E[Y]-E[Y]E[X]+E(X)E(Y)=E[XY]-E[X]E[Y]$$

4. 代入$\beta$式中

   $$\beta =\frac{Cov(X,Y)}{Var(x)}$$