线性回归系数解释

线性回归系数

回归模型得到后会有多个系数，这些系数都有不同的功能，能揭示的东西很多。以 Python 求解的多元线性回归结果为例：

1、$R^2$（R方，R-Square）

$R^2$ 表明模型与实际值的拟合度，介于 $0\sim 1$ 之间，越接近 $1$ 说明拟合度越高，但不一定说明模型就越好，可能过拟合。

2、$Adj-R^2$（调整后的 R 方）

调整后的 $R^2$ 类似 $R^2$ ，但更加重要，表明在因变量的变动中，有多少可以由自变量的变动来解释。若 $Adj-R^2=0.88$，则说明 $y$ 的变动，有 $88\%$ 可以由 $x$ 来解释，剩下的 $12\%$ 是随机变动，也是模型无法解释的部分。

3、标准误差

是通过模型得到预测值与真实值之间的误差的标准差。和不同参数的模型或者其他模型相比较，这个值越大，说明模型预测的数据就越离散，模型的准确度也就越低。

4、$F$ 值

$F$ 值越大，表明线性回归越显著，说明模型越能解释因变量 $y$ 的变化。线性回归的均方误差是模型可以解释的部分，残差均方误差是模型没法解释的（随机的）部分，$F$ 值则是前者与后者的比值。

5、$F$ 显著度

$F$ 值对应的是 $F$ 显著度，反映的是线性回归模型不成立（即两个变量之间不存在线性关系）的概率。若 $F$ 显著度几乎为 $0$，则表面两个变量之间不存在线性关系的概率几乎为 $0$，当参数大于我们常用的 $0.05$ 时，一般认为模型不成立。

6、置信区间

因为很少会用唯一值来做决定，通常会用一个区间来判断模型的拟合度，这就是置信区间的由来。若参数 $k$ 的置信区间 $[a,b]$ 说明在 $95\%$ 的情况下，参数 $k$ 会介于 $a$ 和 $b$ 之间，这一区间越小越好，说明模型的拟合度更高，预测准确度也更高。

7、$P$ 值

这是我们最常看的一个值，和 $F$ 显著度差不多，表示系数为 $0$ 的概率，若 $P$ 值越小，则系数为 $0$ 的概率越小（例：$y=kx+b$，若系数 $k$ 为 $0$，则表明两个变量之间不存在线性关系，可以猜测此时 $P$ 值很大，可能是 $1$），若 $P$ 值几乎为 $0$ 则表明两个变量之间的线性关系很强，即系数存在。若 $P$ 值大于我们常用的 $0.05$，则可以认为系数为 $0$。