最小二乘法、相关系数、决定系数的区别与联系

   $y$和 $x$之间是一种相关关系，即当自变量变化时，因变量大体按某种规律变化，两者之间的关系不能直观的看出来，需要用统计学的方法加以确定，回归分析就是研究随机现象中某种变量间关系的一种数理统计方法，相关关系存在着某种程度的不确定性。例如，身高与体重，分析化学制备标准工作曲线中，浓度与吸光度间的关系。

1、最小二乘法

  求回归方程的方法，通常是用最小二乘法，其基本思想就是从并不完全成一条直线的各点中用数理统计的方法找出一条直线，使各数据点到该直线的距离的总和相对其他任何线来说最小，记各点到回归线的差分和为最小，简称最小二乘法。
针对一元线性方程，假设有实验点($x_1,y_1$),($x_2,y_2$),$\dots$,($x_n,y_n$),满足如下回归方程：
$$y=a+bx$$
其中，$b$为斜率，$a$为截距。
  则每个实验点相对于回归方程的误差为：
$${\delta }_i=y_i-(a+b{x}_i),i=1,2,\dots ,n$$
  求误差平方和最小值：
令$Q$代表各实验点误差平方和，有
$$Q=\sum _{i=1}^n{\delta }^2=\sum _{i=1}^n(y_i-(a+b{x}_i){)}^2$$
使$Q$值最小，只需将上式对 $a,b$ 求偏微分，并令其为零，有
$$\begin{gathered} \frac{\partial Q}{\partial a}=-2\sum _{i=1}^n(y_i-(a+b{x}_i))=0, \\ \frac{\partial Q}{\partial b}=-2\sum _{i=1}^n(y_i-(a+b{x}_i))x_i=0 \end{gathered}$$
将上两式求解并简化即可求出 $a,b$，得
$$b=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2},a=\overline{y}-b\overline{x}$$
可见回归方程必经过点 $(\overline{x},\overline{y})$，其中，$\overline{x}$ 和 $\overline{y}$ 分别为和的平均值。

2、相关系数与决定系数

1）相关系数

  著名统计学家卡尔·皮尔逊设计了统计指标—相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。
  依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数；将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。
  相关系数是度量两个变量之间的相关程度，最终结果介于-1到1之间。其结果为两个变量之间的协方差与标准差的商。
相关系数计算公式：
$$r=\frac{cov(X,Y)}{\sigma X\sigma Y}=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}\sqrt{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2}}$$
其中，
协方差公式
$$cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n}$$
协方差的意义：如果结果为正值（当 $X_i$ 大于(小于) $\overline{X}$ 并且 $Y_i$ 大于(小于) $\overline{Y}$ ），则说明 $X$ 和 $Y$ 是正相关，如果为负则说明负相关，如果为0则说明两者之间没有关联，相互独立。
标准差公式
$$\begin{gathered} \sigma X=\sqrt{\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{n}}, \\ \sigma Y=\sqrt{\frac{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2}{n}} \end{gathered}$$
除以标准差的意义：即消除了 $X$ 和 $Y$ 自身变化的影响，只讨论两者之间关系。
上述公式中，$X,Y$ 为两个变量集合，$cov(X,Y)$ 为 $X$ 、$Y$ 之间的协方差，$\sigma X$ 为 $X$ 的标准差。
  缺点：需要指出的是，相关系数有一个明显的缺点，即它接近于1的程度与数据组数 $n$ 相关，这容易给人一种假象。因为，当 $n$ 较小时，相关系数的波动较大，对有些样本相关系数的绝对值易接近于1;当 $n$ 较大时，相关系数的绝对值容易偏小。特别是当 $n=2$ 时，相关系数的绝对值总为1。因此在样本容量 $n$ 较小时，仅凭相关系数较大就判定变量 $X$ 与 $Y$ 之间有密切的线性关系是不妥当的。

2）决定系数

  度量拟合优度的统计量是决定系数（亦称可决系数、确定系数、判定系数、相关指数）$R^2$,最大值为1。拟合优度（Goodness of Fit）是指回归曲线对观测值的拟合程度。这里的拟合可以是线性的，也可以是非线性的，即使线性的也不一定要用最小二乘法来拟合。
  规则：$R^2$ 的值越接近1，说明回归曲线对观测值的拟合程度越好；反之，$R^2$ 的值越小，说明回归曲线对观测值的拟合程度越差。总而言之，拟合优度是用于度量拟合曲线对于原始数据拟合效果的好坏，拟合优度 $R^2$ 越接近1说明拟合优度越好，一般来说，拟合优度到达0.8以上就可以说拟合效果不错了。
  令 $y$ 为待拟合（真实）数据，$\overline{y}$ 为待拟合数据平均值， $\hat{y}$ 为拟合结果数据，如下给出决定系数的定义：

• 总平方和（total sum of squares）
  $$SST=\sum _{i=1}^n(y_i-\overline{y}{)}^2$$
• 解释（回归）平方和（regression sum of squares）
  $$SSR=\sum _{i=1}^n({\hat{y}}_i-\overline{y}{)}^2$$
• 残差平方和（error sum of squares）
  $$SSE=\sum _{i=1}^n(y_i-\hat{y}{)}^2$$
  决定系数：
  $$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$

3）相关系数与决定系数的区别

• 意义不同
  相关系数意义：用以反映变量之间相关关系密切程度的统计指标。按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。
  决定系数意义：拟合优度越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归曲线附近越密集。
• 应用不同
  相关系数：说明两变量间的相关关系；
  决定系数：说明两变量间依存变化的数量关系。

4）相关系数平方$r^2$与决定系数$R^2$相等

  对于线性回归，其相关系数的平方 $r^2$ 与决定系数 $R^2$ 相等
证明：
$$R^2=\frac{SSR}{SST}=\frac{{\sum }_{i=1}^n({\hat{y}}_i-\overline{y}{)}^2}{{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}=\frac{{\sum }_{i=1}^n(b{x}_i-b\overline{x}{)}^2}{{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}$$$$=b^2\cdot \frac{S_x^2}{S_y^2}={\left(r\cdot \frac{S_y}{S_x}\right)}^2\cdot \frac{S_x^2}{S_y^2}=r^2\cdot \frac{S_y^2}{S_x^2}\cdot \frac{S_x^2}{S_y^2}=r^2$$
根据第一节介绍的最小二乘法
$$b=\frac{S_{xy}}{S_{xx}}=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}}\cdot \sqrt{\frac{S_{yy}}{S_{xx}}}=r\cdot \frac{S_y}{S_x}$$
其中
$$S_{xy}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{n-1},$$$$S_{xx}=\frac{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{n-1},$$$$S_{yy}=\frac{{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}{n-1},$$$$r=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}},$$$$S_x=\sqrt{\frac{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{n-1}},$$$$S_y=\sqrt{\frac{{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}{n-1}}$$

  可以得出一元线性回归（或拟合）时，相关系数的平方 $r^2$ 与决定系数 $R^2$ 相同，如果交换自变量和因变量顺序后再进行拟合，由于它们的相关系数相同，所以交换顺序后它们的决定系数也是相同的。