台大机器学习基石 Lecture 8 - Noise and Error

本次Lecture主要讲了在存在Noise噪声的情况下，是否能够进行机器学习，VC Dimension是否还有作用，并且介绍了一些评价Model的Error度量方法，这是要根据实际问题来确定的。

Noise and Probablistic Target

数据集D存在噪声的情况下，是否还能学习呢？

Noise主要来源于以下三种——

• 由于人为因素，正类被误分为负类，或者负类被误分为正类；

• 同样特征的样本被模型分为不同的类；

• 样本的特征被错误记录和使用。

我们之前的数据都是确定的（deterministic），而现在则变成了对每个一x，y出现的概率是。下面的图继续用罐中抽小球的例子来解释（i.i.d.是指独立同分布）——

从而我们可以用数学证明，如果数据集按照概率分布且是i.i.d.的，那么之前证明机器可以学习的方法依然奏效，VC Dimension有限即可推断。

将称为Target Distribution（目标分布），可以这么理解——Target Distribution是有噪声情况下的理想小目标（ideal mini-target），最理想的结果是什么，伴随着多少的noise。而确定的目标则是Target Distribution的一个特例：

于是，学习的目标就是要在最常见的点上做到尽可能接近mini-target。

那么存在noise的情况下，Learning Flow变形成下面这样——

Error Measure

现在我们通过更加一般化的方法来看错误度量，也就是训练之后的与理想的的error measure：。

主要有三个特性——

• out-of-sample：通过已有数据集之外的数据来测量
• pointwise：对每一个数据点都要进行测试
• classification：查看prediction与target是否一致，这也通常称为'0/1 error'

Pointwise Error实际上就是对数据集的每个点计算错误并计算平均， 在计算和的point wise error表达式如下——

pointwise error是机器学习中最常用也是最简单的一种错误衡量方式（），未来课程中，我们主要考虑这种方式。简便起见，记作，，。主要有两类，0/1 error和squared error，前者主要用于分类，后者主要用于回归——

Ideal Mini-Target由和共同决定，下面的例子能表明在相同的下不同的能产生不同的err结果，形成不同的ideal mini-target——

在加入error measure之后，Learning Flow变成了这样——

Algorithmic Error Measure

Error有两种：False Accept（错的认为是对的）和False Reject（对的认为是错的），0/1 error将这两种error视作相同的。

 我们可以给不同的错误给不同的权值，比如在CIA的指纹识别中，false accept的权值就显然高于false reject，可以用权值表来表示——

	+1	-1
+1	0	1
-1	1000	0

因此，err是依赖于应用和用户的。

测量error的方法有多种，常用的主要分成两类——

 加入error measure后，Learning Flow变成了——

Weighted Classification

机器学习的Cost Function即来自于这些error，也就是算法里面的迭代的目标函数。weighted classification就是不同的(x, y)给出不同的'weight'，在机器学习算法的cost function中进行优化。

将基于损失权重的记为，那么可以用Systematic Route的方法将与联系起来，以CIA的权值表为例，我们可以类比于将1000的权值复制1000份，1的权值保持不变，然后用0/1 error的方法计算，这两个方法是等价的。

当然，我们不会真的复制1000份，这样太慢了，也不支持非整数的权值。

于是我们只要做到以下两点，提高检查-1的概率，并且在pocket中保留较小的——

 这样的Systematic Route也被成为Reduction，在许多其他的算法中有应用。