统计学8

线性回归中的平方误差
假设坐标平面内有n点，想找到一条直线，最小化这些点到该直线的平方误差。我们需要求出m和b的值。

定义下误差的概念

$e_{1}=y_{1}-\left ( mx_{1}+b \right )$
.
.
$e_{n}=y_{n}-\left ( mx_{n}+b \right )$

平方误差
$SE=e^{2}_{1}+...+e^{2}_{n}$

线性回归公式的推导
$SE=e^{2}_{1}+...+e^{2}_{n}$
$=(y_{1}-\left ( mx_{1}+b \right ))^{2}+...+(y_{n}-\left ( mx_{n}+b \right ))^{2}$
$=y_{1}^{2}-2y_{1}\left ( mx_{1}+b \right )+\left ( mx_{1}+b \right )^{2}$+…+
$=y_{1}^{2}-2y_{1}mx_{1}-2y_{1}b+m^{2}x_{1}^{2}+2mx_{1}b+b^{2}$+…+
　$y_{n}^{2}-2y_{n}mx_{n}-2y_{n}b+m^{2}x_{n}^{2}+2mx_{n}b+b^{2}$（对应项相加）
$=(y_{1}^{2}+...+y_{n}^{2})-2m(x_{1}y_{1}+...+x_{n}y_{n})-2b(y_{1}+...+y_{n})+m^{2}(x_{1}^{2}+...+x_{n}^{2})+2mb(x_{1}+...+x_{n})+nb^{2}$

令y的平方的均值$\frac{y_{1}^{2}+...+y_{n}^{2}}{n}=\bar{y^{2}} ，y_{1}^{2}+...+y_{n}^{2}=n\bar{y^{2}}$。其它也类似处理。

$SE=n\bar{y^{2}}-2mn\bar{xy}-2bn\bar{y}+m^{2}n\bar{x^{2}}+2mbn\bar{x}+nb^{2}$
最小化SE，得到m和b的值。
首先对m求偏导，令$\frac{\partial SE}{\partial m}=0$
$\frac{\partial SE}{\partial m}=-2n\bar{xy}+2mn\bar{x^{2}}+2bn\bar{x}=0$（提出2n）
对b求偏导，令$\frac{\partial SE}{\partial b}=0$
$\frac{\partial SE}{\partial b}=-2n\bar{y}+2mn\bar{x}+2nb=0$（提出2n）

$\left\{\begin{matrix}-\bar{xy}+m\bar{x^{2}}+b\bar{x}=0\\ -\bar{y}+m\bar{x}+b=0\end{matrix}\right.$

下面将两者都化成mx+b形式，
$\left\{\begin{matrix}m\bar{x^{2}}+b\bar{x}=\bar{xy}\\ m\bar{x}+b=\bar{y}\end{matrix}\right.$

满足这两个方程的m和b就是最佳拟合直线的m和b。从第二个方程可以看出点$(\bar{x},\bar{y})$落在直线上。改写第一个方程，$m\frac{\bar{x^{2}}}{\bar{x}}+b=\frac{\bar{xy}}{\bar{x}}$，得到拟合直线上的另一个点$(\frac{\bar{x^{2}}}{\bar{x}},\frac{\bar{xy}}{\bar{x}})$。

我们可以解方程组以得到m和b，也可以通过直线上的两个点求出直线y=mx+b。
$\left\{\begin{matrix}m\frac{\bar{x^{2}}}{\bar{x}}+b=\frac{\bar{xy}}{\bar{x}}\\ m\bar{x}+b=\bar{y}\end{matrix}\right.$
得到m=$\frac{\bar{y}-\frac{\bar{xy}}{\bar{x}}}{\bar{x}-\frac{\bar{x^{2}}}{\bar{x}}}=\frac{\bar{x}\bar{y}-\bar{xy}}{(\bar{x})^{2}-\bar{x^{2}}}$，b=$\bar{y}-m\bar{x}$

线性回归例题
假设有不共线三点(1,2)(2,1)(4,3)，求最佳拟合直线。
$\bar{x}$=(1+2+4)/3=7/3，$\bar{y}$=(2+1+3)/3=2，$\bar{xy}$=(2+2+12)/3=16/3，$\bar{x^{2}}$=(1+4+16)/3=7。
m=$\frac{7/3*2-16/3}{(7/3)^{2}-7}$=3/7，b=$\bar{y}-m\bar{x}$=2-3/7*7/3=1
回归直线是y=mx+b=3/7x+1

决定系数R2
一种对直线拟合程度的估计，表示y的波动程度有多少百分比能被x的波动程度所描述。

y的总波动程度为
$(y_{1}-\bar{y})^{2}+(y_{2}-\bar{y})^{2}+...+(y_{n}-\bar{y})^{2}=SE_{\bar{y}}$，又称为离y均值的平方误差。方差是y的总波动的均值。

每个点到回归直线的平方误差为
$SE=(y_{1}-\left ( mx_{1}+b \right ))^{2}+...+(y_{n}-\left ( mx_{n}+b \right ))^{2}$。

$\frac{SE}{SE_{\bar{y}}}$表示y的总波动中有多少没被回归线所描述，或者说没有被x的波动所描述。
$1-\frac{SE}{SE_{\bar{y}}}$表示y的波动程度有多少百分比能被x的波动程度所描述，称作决定系数$r^{2}$。
如果直线的平方误差SE很小，意味着直线拟合的很好，$r^{2}$会接近1，也就是说y的波动很多都被x的波动描述了。

从下图可以看出，比起y的均值线（绿色），每个点和回归线（紫色）接近的更好。$SE_{\bar{y}}$理解为每个y到绿线的距离平方和，$SE$理解为每个y到紫线的距离平方和。

协方差和回归线
两个随机变量之间的协方差为
$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$，两个随机变量离各自均值距离之积的期望值，也就是表示两变量多大程度上一同变化。
比如，从X和Y中抽取一个样本后，X高于其期望值，Y低于其期望值，(X-E(X))(Y-E(Y))会得到负数。如果$Cov(X,Y)$为负，说明两变量一个上升，另一个就下降。如果两者同时上升或者同时下降，那么就是正协方差，同步的程度确定协方差的大小。

将协方差的定义，同最小二乘回归联系起来。协方差这个概念很大程度就是从回归中来的。
$Cov(X,Y)$=E[(X-E(X))(Y-E(Y))]
=E[XY-XE(Y)-E(X)Y+E(X)E(Y)]
=E(XY)-E[XE(Y)]-E[E(X)Y]+E(X)E(Y)
=E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)
=E(XY)-E(X)E(Y)
期望值可以看作已知的常数，期望值的期望就是该期望值，即E(E(X))=E(X)。

如果知道这些变量的概率分布或者密度函数，我们就能算出期望值来。但是如果只有样本，则只能用样本估计。E(XY)$\approx \bar{xy}$，E(X)$\approx \bar{x}$，E(Y)$\approx \bar{y}$。
$Cov(X,Y)=\bar{xy}-\bar{x}\bar{y}$。这是回归直线的斜率m的分子部分。
m=$\frac{\bar{xy}-\bar{x}\bar{y}}{\bar{x^{2}}-(\bar{x})^{2}}$。而分母部分是$Cov(X,X)$。
$Cov(X,X)$=E[(X-E(X))(X-E(X))]=$Var(X)$，随机变量同自身的协方差等于该随机变量的方差。

因此，回归直线的斜率可以考虑为m=$\frac{Cov(X,Y)}{Var(X)}$