Coursera机器学习基石笔记week8

Noise and Error

Noise and Probabilistic Target

这节课引入noise的概念，那么VC Dimension的推导还成立吗？

首先，数据集的Noise一般有三种情况：

• 由于人为因素，正类被误分为负类，或者负类被误分为正类；
• 同样特征的样本被模型分为不同的类；
• 样本的特征被错误记录和使用。

之前的数据集是确定的，即没有Noise的，我们称之为Deterministic。现在有Noise了，也就是说在某点处不再是确定分布，而是概率分布了，即对每个(x，y)出现的概率是P(y|x)。

因为Noise的存在，比如在x点，有0.7的概率y=1，有0.3的概率y=0，即y是按照P(y|x)分布的。数学上可以证明如果数据集按照P(y|x)概率分布且是iid（独立同分布）的，那么以前证明机器可以学习的方法依然奏效，VC Dimension有限即可推断$E_{in}$和$E_{out}$是近似的。

从上图可知，P(y|x)称之为目标分布（Target Distribution），而且确定数据集可以看作是目标分布的特殊案例。即P(y|x)=1,for y=f(x)，P(y|x)=0,for y≠f(x)

Error Measure

PointWise error实际上就是对数据集的每个点计算错误并计算平均，$E_{in}$和$E_{out}$的pointwise error的表达式为：

pointwise error是机器学习中最常用也是最简单的一种错误衡量方式，未来课程中，我们主要考虑这种方式。pointwise error一般可以分成两类：0/1 error和squared error。0/1 error通常用在分类（classification）问题上，而squared error通常用在回归（regression）问题上。

Ideal Mini-Target由P(y|x)和err共同决定，0/1 error和squared error的Ideal Mini-Target计算方法不一样。例如上面这个例子，分别用0/1 error和squared error来估计最理想的mini-target是多少。0/1 error中的mini-target是取P(y|x)最大的那个类，而squared error中的mini-target是取所有类的加权平方和。

Algorithmic Error Measure

Error有两种：false accept和false reject。false accept意思是误把负类当成正类，false reject是误把正类当成负类。 根据不同的机器学习问题，false accept和false reject应该有不同的权重，这根实际情况是符合的，比如是超市优惠，那么false reject应该设的大一些；如果是安保系统，那么false accept应该设的大一些。

常见计算error的方法如下：

Weighted Classification

对于安保系统，false accept权重应该较大，那么针对这个情况，生成了加权的$E_{in}$：

我们可以通过virtual copying，来使$E_{in}^w$和$E_{in}^{0/1}$扯上关系，相当于使权重不变，但是对于犯错误的数据进行虚拟复制1000次，那么计算$E_{in}^w$还是可以通过$E_{in}^{0/1}$。


但是事实上我们不会真正复制对应的数据集1000次，而是使计算对应的数据集的概率变为原来的1000倍。

总结

本节课主要讲了在有Noise的情况下，即数据集按照P(y|x)概率分布，那么VC Dimension仍然成立，机器学习算法推导仍然有效。机器学习cost function常用的Error有0/1 error和squared error两类。实际问题中，对false accept和false reject应该选择不同的权重。对于有权重的算法，可以利用virtual copying来使原始的算法一样有效。