【统计学习系列】多元线性回归模型（六）——模型拟合质量评判：RMSE、R方、改进R方、AIC\BIC\SIC

---

1. 前文回顾

在上一篇文章中，我们介绍了参数的显著性检验——t检验，和模型的显著性检验——F检验（详情请见：多元线性回归模型（五）——参数与模型的显著性检验：t检验与F检验）

现在我们来考虑一个新问题：假设一现在两个模型都可以用来拟合因变量，且每个模型的各个参数均显著，那么这两个模型哪个更好呢？有什么指标可以用来比较两个模型孰优孰劣呢？那就让我们带着这个问题继续探索吧。

---

2. 一些引理与离差平方和分解定理（可略）

我将本文需要的一些引理与相关证明放在这一章节中，其中最重要的要属离差平方和分解定理。不感兴趣的小伙伴可以跳过本章的证明过程。

2.1 引理1

【引理1】 样本真值与模型拟合值的残差和为0，即：
$$\sum _{i=1}^N(y_i-\widehat{y_i})=0$$

Proof：

根据对 β₀ 的偏导数为0，即可得证。

Q.E.D.

2.2 引理2

【引理2】样本真值与模型拟合值的残差和为0，即：
∀ j ∈ { 1 , 2 , . . . , p } ,     ∑ i = 1 N x i j ( y i − y i ^ ) = 0 \forall j \in \{1, 2, ..., p \}, \ \ \ \sum_{i=1}^{N} x_{ij} (y_i- \hat{y_i})= 0 ∀j∈{ 1,2,...,p},   i=1∑N​xij​(yi​−yi​^​)=0

Proof:

根据对 β_i 的偏导数为0，即可得证。

Q.E.D.

2.3 引理3

【引理3】
$$\sum _{i=1}^N{\hat{y}}_i(y_i-\widehat{y_i})=0$$

Proof:
$$\begin{gathered} \sum _{i=1}^N{\hat{y}}_i(y_i-\widehat{y_i}) \\ =\sum _{i=1}^N({\hat{\beta }}_0+\sum _{j=1}^p{\hat{\beta }}_j{x}_{i,j})(y_i-\widehat{y_i}) \\ ={\hat{\beta }}_0\sum _{i=1}^N(y_i-\widehat{y_i})+\sum _{j=1}^p{\hat{\beta }}_j\sum _{i=1}^N{x}_{i,j}(y_i-\widehat{y_i}) \end{gathered}$$
由引理1与引理2，即可证得：
$$\sum _{i=1}^N{\hat{y}}_i(y_i-\widehat{y_i})=$$