判定系数推导 — Coefficient of Determination Derivation

通过线性回归得到回归参数后，可以通过计算判定系数$R^2$来评估回归函数的拟合优度。判定系数$R^2$定义如下：
$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
其中，$SSR=\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2$，$SSE=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$和$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$。$R^2$越接近1，回归函数的拟合优度越大。上式可改写成$SST=SSR+SSE$，即：
$$\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

为了理解$R^2$，我们有必要先回顾一下线性回归的通式：
$$\{\begin{array}{l}{\hat{y}}_i=f(x)={\theta }_0+\sum _{j=1}^n{\theta }_j{x}_i^j\\ y_i={\hat{y}}_i+{ϵ}_i\end{array}$$
其中，$y_i$实际上由${\hat{y}}_i$和${ϵ}_i$组成，${\hat{y}}_i$随$x_i$变化而变化。令 $x_i^0=1$，${\hat{y}}_i={\theta }_0+\sum _{j=1}^n{\theta }_j{x}_i^j$可被改写成${\hat{y}}_i={\theta }^T{x}_i$。将上式改写成向量和矩阵的形式：
$$\{\begin{array}{l}\left[\begin{array}{ccccc}1& x_1^1& x_1^2& \dots & x_1^n\\ 1& x_2^1& x_2^2& \dots & x_2^n\\ ⋮& & & & \\ 1& x_m^1& x_m^2& \dots & x_m^n\end{array}\right]\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]=\left[\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ ⋮\\ {\hat{y}}_m\end{array}\right]\\ \\ \left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]=\left[\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ ⋮\\ {\hat{y}}_m\end{array}\right]+\left[\begin{array}{c}{ϵ}_1\\ {ϵ}_2\\ ⋮\\ {ϵ}_m\end{array}\right]\end{array}$$
当$\theta ̸=0$时，$\hat{Y}$是$X$的一个线性组合，即$\hat{Y}$存在于由$X$的列向量所展开的列空间中。对于一次幂的线形回归，$X$的列空间即是一个超平面，$\hat{Y}$是存在于面内的一个向量（即$Y$在面上的投影）。为了使得残差最小化，$ϵ$是$Y$垂直于面方向上的投影。在三维中的几何意义如下图（文中$\theta$即图中$\beta$，图中$X_i$表示列向量，图取自）：

因为$ϵ$垂直于$X$的列空间，所以$ϵ$垂直于$X$的所有列向量，即$X^Tϵ=0$。又因$ϵ=Y-X\theta$，得：
$$\begin{gathered} X^T(Y-X\theta )=0 \\ {X}^{T}Y=X^{T}X\theta \\ \theta =(X^{T}X{)}^{-1}{X}^{T}Y \\ \hat{Y}=X\theta =X(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$
根据$\hat{Y}=X\theta =X(X^{T}X{)}^{-1}{X}^{T}Y$，我们得到了投影矩阵$P=X(X^{T}X{)}^{-1}{X}^T$。$\hat{Y}=PY$，投影矩阵$P$乘以$Y$得到了$Y$属于$X$列空间的分量$\hat{Y}$。投影矩阵有两个性质需要了解：

1. $P$是对称矩阵；
   $$P^T=(X(X^{T}X{)}^{-1}{X}^T{)}^T=X((X^{T}X{)}^{-1}{)}^T{X}^T=X((X^{T}X{)}^T{)}^{-1}{X}^T=X(X^{T}X{)}^{-1}{X}^T=P$$
2. $P^2=P$。
   $$P^2=P^{T}P=X(X^{T}X{)}^{-1}{X}^{T}X(X^{T}X{)}^{-1}{X}^T=X(X^{T}X{)}^{-1}\overbrace{X^{T}X(X^{T}X{)}^{-1}}{X}^T=X(X^{T}X{)}^{-1}{X}^T=P$$

现在，我们可以开始推导判定系数公示$SST=SSR+SSE$了。如下（$1\in R^m$）：
$$\begin{array}{rl}& SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n[(y_i-{\hat{y}}_i)+({\hat{y}}_i-\bar{y}){]}^2\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^{n}2(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^{n}2(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2ϵ(\hat{Y}-\bar{Y}1)\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2ϵ(PY-\bar{Y}1)\\ & =\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2{ϵ}^T\hat{Y}-2\bar{Y}{ϵ}^{T}1\end{array}$$
因为$ϵ$垂直于$X$的列空间，且$\hat{Y}$属于$X$的列空间，所以${ϵ}^T\hat{Y}=0$；又因为$1=x_i^0\in R^m$（$1$属于$X$的列空间），所以${ϵ}^{T}1=0$。因此：
$$SST=\sum _{i=1}^n({\hat{y}}_i-{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+2{ϵ}^T\hat{Y}-2\bar{Y}{ϵ}^{T}1=SSR+SSE$$