编辑文章 - 博客频道 - CSDN.NET

泛化能力

泛化误差

1什么是泛化能力

泛化能力是指由学习方法学习到的模型对未知数据的预测能力。

2如何评价学习方法的泛化能力

现实中采用最多的方法是利用测试集的误差来进行评价。但是由于测试集一般是有限的，因此很可能得到的评价结果不可靠。

3泛化误差（generalization error）的定义

模型对未知数据预测的误差，学习到的模型的期望风险。

泛化误差上界

1泛化误差上界叫泛化误差概率的上界，一般用来进行学习方法的泛化能力的比较。

2当样本容量增加时，泛化上界趋于0,。

3当假设空间容量增加时，模型会更难学，泛化上界变大。

hoeffding不等式：

Hoeffding's inequality provides an upper bound on the probability that the sum of random variables deviates from its expected value.

hoeffding不等式为随机变量的和偏离它的期望在概率上提供了一个上界。