机器学习基石 Lecture8: Noise and Error

Noise and Error

前面讲的机器学习的学习流程如下图所示：

但是这个流程里假设的都是有一个真实的函数$f$来生成样本，但是现实中很有可能样本里带有一些噪音，也就是无法单纯用一个函数$f$来刻画$y$与$x$的关系。比如在信用卡问题里有以下几种噪音：

1. y的噪音：对表现良好的用户标记为-1（不发信用卡）
2. y的噪音：同样的用户不同的标签
3. x的噪音：不准确的用户信息

在有噪音的情况下，VC bound的不等式是否依然成立呢？我们可以从头开始推导，但是要包含有噪音的情况。建模成每个样本$x$服从一个概率分布$P(x)$，而对于一个给定的$x$，对应的$y$也服从一个条件分布$P(y|x)$。这样就包含了噪音的存在。最终的结果是VC bound的结果依然类似的成立：

这时候我们机器学习的目标就从学习一个目标函数$f$变成了学习一个概率分布$P(y|x)$。而对一个给定 x x <