1. 基础知识
训练误差与经验误差:学习器在训练集上的误差成为“训练误差”或“经验误差”。在新样本上的误差称为“泛化误差”。
根据大数定律,经验误差会收敛于泛化误差,两者(在一定容忍下)相近是由hoeffding不等式作为理论保证的,两者相差过大说明模型的欠拟合或者过拟合,而学习的一致收敛性说的正是这一特性:当训练集足够大,两者的结果就会足够相近。
若 h 在数据集 D 上的经验误差为 0,则称 h 与 D 一致,否则称其与 D 不一致,通过不等式度量他们的不一致。
Jessen不等式
如果f是凸函数(凸函数https://blog.csdn.net/mjie_liang/article/details/21873981),X是随机变量,那么
HoefIding 不等式
说人话:经验误差收敛于泛化误差。
McDiarmid 不等式
若X1