林轩田机器学习基石Lecture 8: Noise and Error

@Lecture 8: Noise and Error
本部分在之前的数据中加入了噪声，VC bound是否还起作用，即是否还可以满足Ein和Eout的那个公式

Noise and Probabilistic Target

Noise的产生：

1. 错误的y：如相同的x标注的不同的y，或者应该是正样本的数据标注成错误数据
2. 错误的x：如收集到的观测样本本身不准确
   也就是说我不是学一个目标函数，而是学一个目标的概率分布函数P（y|x）=f(x)+noise
   无噪声数据可以视为特殊情况：
   
   现在的机器学习流程为：
   
   由此可知：VC bound still works

Error Measure

pointwise Error:就是单独看每一个点是否分对了
介绍了两种错误衡量方式：

两种错误的衡量方式对学习的影响：不同loss衡量方式对应了不同的目标函数

目前的机器学习算法流程要引入错误衡量方式来引导学习：

Algorithmic Error Measure

这节主要讲如何根据目标来选择错误衡量方式
例如根据业务需要给false accept 和false reject 不同的权重
引入算法的loss设计：

因此，目前的机器算法流程为：

Weighted Classifification

上述为不同的分类错误引入不同的错误权重叫做Weighted Classifification
很粗暴巧妙的设计方式：复制数据，如果是y=-1的权重是100，就把（x,-1)这个样本复制100次