一般线性模型中SST-SSR-SSE的关系证明

概述

在一般线性模型y=wx+b中，一般会用解释系数R2来衡量模型的解释率。

R2的计算公式一般认为是：

        R2=1-SSR/SST=SSE/SST，此时隐含的条件其实是:SST=SSR+SSE

其中，SST代表总的平方和，SSR代表残差平方和，SSE代表回归平方和。

因此很多人认为R2的取值范围应该是（0，1），实际上不是这样的，有些情况下，R2的值是会出现负数的。实际上，R2=1-SSR/SST=SSE/SST并不是在所有情况下都成立，这个式子成立是有前提条件的。

具体证明

见附件的手写PDF。写的比较随意，主要是记录一下。

 

 

 

 

 

总结

• SST=SSR+SSE成立的条件是求解模型的损失函数为f=sum(y-pred)^2，也就是经典的最小二乘法的平方损失函数。
• 为防止过拟合，往往会给w添加正则项约束，即损失函数变为：f=sum(y-y_pred)^2+sum(w)^2,此时SST=SSR+SSE+2*sum(w)。对于这种情况下，如果还利用公式R2=1-SSR/SST求R2,就有可能出现负数。