详解机器学习中的VC维

机器学习中的经典算法SVM（支持向量机）最初是由前苏联数学家Vladimir Vapnik 和 Alexey Chervonenkis 在 1963年提出的。二人合作完成的另外一个之于机器学习的重要贡献就是所谓的VC维（Vapnik-Chervonenkis dimension）。文献【2~3】是网上一个解释VC维这个概念的非常通俗的视频，本文主要据此整理而得。

一、Training Error 与 Test Error

如果你训练出来了一个Model，那么你该怎么评价它呢？文献【4】中介绍了几个常用的指标，包括Accuracy, Precision, Recall和F1-Score 。这些指标基本上都有准确率这样的意思，与之相反我们还可以定义错误率，或者称为误差（error）。显然，误差越大，准确率就越低，反之亦然。