第十二章计算学习理论

1. 基础知识
训练误差与经验误差：学习器在训练集上的误差成为“训练误差”或“经验误差”。在新样本上的误差称为“泛化误差”。

根据大数定律，经验误差会收敛于泛化误差，两者（在一定容忍下）相近是由hoeffding不等式作为理论保证的，两者相差过大说明模型的欠拟合或者过拟合，而学习的一致收敛性说的正是这一特性：当训练集足够大，两者的结果就会足够相近。
若 h 在数据集 D 上的经验误差为 0，则称 h 与 D 一致，否则称其与 D 不一致，通过不等式度量他们的不一致。

Jessen不等式
如果f是凸函数（凸函数https://blog.csdn.net/mjie_liang/article/details/21873981），X是随机变量，那么

HoefIding 不等式

说人话：经验误差收敛于泛化误差。

McDiarmid 不等式
若X1࿰