机器学习——如何评价回归模型

本内容整理自coursera，欢迎交流转载。

如何定义损失

我们用如下符号表示回归模型的损失（loss）：

$L(y,f_{\hat{w}}(\vec{x}))$
举个栗子，我们可以使用局对误差或者方差表示 损失函数：
$L(y,f_{\hat{w}}(\vec{x}))=|y-f_{\hat{w}}(\vec{x})|$
$L(y,f_{\hat{w}}(\vec{x}))=|y-f_{\hat{w}}(\vec{x})|^2$

三种误差

training error

根据如上对损失函数的定义，training error可以表示为：

$Training\space{error}=\ {average.loss\ in \ Training \ set=}\ \frac{1}{N}\sum_{i=1}^NL(y,f_{\hat{w}}(\vec{x}))$

注意：这里的计算实在training set上进行的。

例如我们可以用squared error来表示损失函数，那么
$Training error(\hat{w})=\sqrt{\frac{1}{N}\sum_{i=1}^N|y-f_{\hat{w}}(\vec{x})|^2}$
由于training error是在训练集计算的，所以随着模型复杂度的增加，training error逐渐减小。

generalization error(泛化误差)

泛化误差表示为我们所有可能遇到的数据的误差，
$generalization \ error=E_{x,y}[L(y,f_{\hat{w}}(\vec{x}))]$
这里的$E_{x,y}$指的是所有世界上可能的数据，$\hat{w}$是我们在training set得到的拟合系数向量。
所以说泛化误差是永远无法得到的。随着模型的复杂度的增加，泛化误差先变小，然后由于过拟合而变大。

test error（测试误差）

$Test\ error=avg.loss\ in \ test\ set=\frac{1}{N_{test}}\sum_{i\ in\ test\ set}L(y,f_{\hat{w}}(\vec{x}_{i}))$

注意：这里的$\hat{w}$依旧是在训练集你喝的道德系数向量。

下面比较一下三种误差：

误差的三个来源

主要来自以下三个方面：

• noise（噪声）
• bias（偏差）
• variance（方差）

噪声是不可消除的。
Bias定义为：

假设我们有好多拟合函数，在不同的训练集拟合。我们把这些函数平均得到一个$f_{\bar{w}}(\vec{x})$,那么我们的$Bias(\vec{x})=f_{w(true)}(\vec{x})-f_{\bar{w}}(\vec{x})$,由这个定义我们可以得知较低的模型复杂度会有较高的偏差，即$Low\ complexity\rightarrow{high\ bias}$.

方差：随着模型复杂度增加，方差增加