Noise 和 Error

一、有Noise 时vc bound依旧成立
在之前推导vc bound 的时候，我们假设样本空间里没有Noise，自然抽样样本中也不会有Noise。当hypothesis 的d_vc有限，N足够大，E_in（h）足够小，我们就说机器有所学习。但是当样本空间中夹杂了Noise后，我们还能有这套理论的成立吗？
解决思路：原先的target函数是确定的，对于每一个样本来说，都有唯一个标签。但现在我们可假设函数值也是服从某一概率分布，大概率上接近未知的target函数，小概率会发生Noise。抽样样本是这样，样本空间也是如此。我们某一时刻在训练集上学习所得的规则可表示当前时刻整个样本空间。（保证训练集、测试集的样本及标签服从相同的分布）。
可以说，在有Noise时，机器学习的规则，可保证对时常被抽取到样本做测试其标签会是大概率出现的那个！（这也是机器学习的目标）
二、error 度量
在学习过程中做验证时，我们需要评估学习所得的规则与未知规则的差距！但是如何评估？使用和何种函数并没有给出说明，这里就来简单的探究一下这个问题！度量函数最主要的目的评估预测值和真实值的差距，因此error function 的变量肯定是关于预测函数和真实函数（有Noise时，预测所得函数概率分布和真实函数概率分布），均值，可逐样本计算。因而总error可使用各个样本的error之和的均值来表示。将单样本的error