机器学习基础(林軒田)笔记之八

Noise and Error(噪声和错误)

回顾

上节课我们学习了机器学习中最重要的一个工具：VC维。

这节课我们讨论如何放宽VC维推导过程中的假设，以是得VC维可以放宽到更多不同的问题上。

Noise and Probabilistic Target

learning flow:

这节课我们要讨论加上noise后对我们之前我们的理论推导是否有影响。

以之前的银行发放信用卡的例子为例，noise：

要知道noise会不会对VC Bound有影响，需要看VC Bound的核心。

回想弹珠例子：

结论：在引入noise时VC Bound依然有效。

新的Learning Flow

Error Measure

之前的错误衡量方式：

考虑每个点上的错误衡量：

有了err之后，Ein，与Eout如下：

后面我们主要用PointWise的方式来衡量错误，下面介绍两种常用的PointWise方法：

关于Mini-Target的一个例子：

错误衡量会影响到最好的f的形式，新的Learning Flow

结论：可以再不同的的问题上定义不同的VC维，一样可以得到类似的VC Bound.

Algorithmic Error Measure

现在我们用一个指纹识别的例子来说明上节中说给的错误衡量方法是怎么来的。

超市指纹识别系统：

CIA指纹识别系统：

综上：不同的应用需要不同的错误衡量，所以在设计算法的时候要讲错误的衡量方法加进去。

新的Learning Flow:

Weighted Classification

在不同的情形下取不同的权重。

在此种情况下VC Bound依然有用，那么只需Ein足够小就可保证学习有效。

以PLA算法为例：

下面我们介绍怎样修改原来的pocket算法保证与原来效果近似。