回归补充(二)
文章目录
一. 线性回归的决定系数
线性回归的决定系数,也叫:可决系数,也称测定系数,英文名:coefficient of determination。这个是用来测定拟合程度的。这个值越高,说明拟合程度越高。
那么决定系数具体是什么呢?
我们假设有m个样本,他们分别是(x1, y1), (x2, y2), (x3, y3), ……, (xm, ym)。这几个样本的估计值是(x1,y1^), (x2, y2^), ……(xm, ym)(yi上面有个,在这里不知道该怎么打这个符号了)。那么这几个样本一定有一个总平方和TSS(Total Sum of Squares),公式如下:
然后我们计算残差平方和RSS(Residual Sum of Squares):
Note:RSS即误差平方和SSE(Sum of Squares for Error)
有了这两个,我们进一步得到了决定系数公式:
对于这个公式,有如下一些说明:
- R ^2越大,拟合效果越好
- R^2的最优值为1;若模型预测为随机值, R^2有可能为负
- 若预测值恒为样本期望, R^2为0
由这几个样本值和样本估计值,我们还能得到另外一个东西:回归平方和SSR(Sum Of Squares for Regression)。有一些教材把他称为ESS(Explained Sum of Squares)。
TSS, ESS, RSS这三个有这样的数量关系:
如果正好估计值是无偏估计量,那么这个式子取等号。
二.局部加权线性回归
英文名:Locally Weighted linear Regression,简称LWR。我们假设有一个情况,如图所示:
这当中,黑色是样本点,红色是线性回归线,绿色是局部加权回归线。
我们可以看到,线性回归线和样本点实际值还是有差距的,于是就有人想,能不能通过在红色的回归线基础上加上一个权值,就能让回归线更加拟合于实际值呢?就像图中两个红点之间那个距离。这就是LWR的思想。
局部加权的关键,就是如何计算这个权值。其实这个权值有多个选择方式,比如说:高斯核函数如下所示:
其中,τ称为带宽,它控制着训练样本随着与x (i) 距离的衰减速率。
除了高斯核函数,多项式核函数也是一种方式: