计算学习理论、统计学习基础理论

computational learning theory：计算学习理论；

支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。

• 统计学习的基础就是统计推理（statistical inference），统计推理简单来说，就是估计参数（模型的参数）
  
  • 比如对于 MLE：$\arg\max \prod\limits_{i}f_i(x_i|\theta)$（$\theta$ 即为其参数），MLE 是一种 metric，

0. PAC

PAC（probably approximately correct，概率近似正确） learning model：

$$P\left(|f(x)-y|\leq \epsilon\right)\geq 1-\delta$$

这是 Valiant（2010 年获得图灵奖） 于 1984 年提出的理论；

1. VC 维理论

2. 结构风险最小化