回归补充（二）

回归补充（二）

一. 线性回归的决定系数

线性回归的决定系数，也叫：可决系数，也称测定系数，英文名：coefficient of determination。这个是用来测定拟合程度的。这个值越高，说明拟合程度越高。

那么决定系数具体是什么呢？

我们假设有m个样本，他们分别是（x1, y1）, (x2, y2), (x3, y3), ……, (xm, ym)。这几个样本的估计值是(x1,y1^), (x2, y2^), ……(xm, ym^{)（yi上面有个}，在这里不知道该怎么打这个符号了）。那么这几个样本一定有一个总平方和TSS（Total Sum of Squares），公式如下：

然后我们计算残差平方和RSS(Residual Sum of Squares)：

Note:RSS即误差平方和SSE(Sum of Squares for Error)

有了这两个，我们进一步得到了决定系数公式：

对于这个公式，有如下一些说明：

• R ^2越大,拟合效果越好
• R^2的最优值为1;若模型预测为随机值, R^2有可能为负
• 若预测值恒为样本期望, R^2为0

由这几个样本值和样本估计值，我们还能得到另外一个东西：回归平方和SSR(Sum Of Squares for Regression)。有一些教材把他称为ESS（Explained Sum of Squares）。

TSS, ESS, RSS这三个有这样的数量关系：

如果正好估计值是无偏估计量，那么这个式子取等号。

二.局部加权线性回归

英文名：Locally Weighted linear Regression，简称LWR。我们假设有一个情况，如图所示：

这当中，黑色是样本点，红色是线性回归线，绿色是局部加权回归线。

我们可以看到，线性回归线和样本点实际值还是有差距的，于是就有人想，能不能通过在红色的回归线基础上加上一个权值，就能让回归线更加拟合于实际值呢？就像图中两个红点之间那个距离。这就是LWR的思想。

局部加权的关键，就是如何计算这个权值。其实这个权值有多个选择方式，比如说：高斯核函数如下所示：

其中，τ称为带宽,它控制着训练样本随着与x (i) 距离的衰减速率。

除了高斯核函数，多项式核函数也是一种方式：