学习理论-模型评估与评价指标

学习理论

1、基本概念

2、PAC理论

3、VC维

4、极大似然，最大后验概率，贝叶斯估计

5、模型评估与评价指标

6、模型诊断调参

五、模型评估与评价指标

一、模型评估

​ 在不同的假设空间下，依据各自的准则选择出最优模型后（学习），往往需要对这些模型进行评估。一般而言，把训练数据划分为训练集-验证集-测试集。

训练集：用来训练不同模型，获得模型及其训练误差；

验证集：与训练集相对独立，获取训练模型在该集上的预测误差，用来做模型选择；

测试集：与训练集和验证集独立，获得一般误差和其他模型评价指标，用来评价已选择出的模型。

常用的验证方法有:

交叉验证法（hold-out cross validation）：

1、随机的分割训练样本$S$为$S_{train}$ 和$S_{cy}$，一般$70$和$30$，前者为训练集，后者为验证/测试集集。

2、为每一类模型$M_i$在训练集$S_{train}$上学习，每个假设类得到一个目标函数$h_i$。

3、对这些目标函数在验证样本上进行验证，得出泛化误差

K-fold cross validation：

1随机的把样本$S$分为$k$份，得到了训练子集$S_1,S_2,..,S_k$ 。

2对于每一个模型$M_i$，从