模型评估与选择（二）

某天晚上看了斯坦福大学一节machine learning课程，心潮澎湃，遂在网上找到周老师的《机器学习》看了下，以下内容属于学习记录性质的，仅供梳理知识点。

2.1经验误差与过拟合

经验误差：学习器在训练集上的误差，称为“训练误差”或“经验误差”。

过拟合：当学习器把训练样本学得“太好”了的时候，很可能把训练样本本身的一些特点当作了所有潜在样本都具有的一般性质，导致泛华能力下降，这种现象称为“过拟合”。

欠拟合：是指对训练样本的一般性质尚未学好。

在现实中，选择模型时，考虑的是泛化误差小的模型，然而泛化误差无法直接获得，而训练误差由于过拟合现象的存在不适合作为标准。

2.2评估方法

通常采用实验测试的方法来对泛化误差进行评估，即用一个“测试集”来测试学习器对新样本的判别能力。以测试集上的“测试误差”作为泛化误差的近似。（测试误差~~泛化误差）

假设我们有一个包含m个样例的数据集D={(x1,y1),(x2,y2),...,(xm,ym)}

no1 留出法

该方法将数据集D划分为两个互斥的集合，一个集合作为训练集S，另一个集合作为测试集T。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

一般用大约2/3~4/5的样本用于训练，剩余样本用于测试。

no2 交叉验证法

又称为“k折交叉验证”。

no3 自助法

每次从数据集D中随机地挑选一个，拷贝到D'中，并重复执行m次。

2.3性能度量（分类任务）

2.3.1错误率与精度

2.3.2查准率、查全率与F1

2.3.3 ROC与AUC

ROC（Receiver Operating Characteristic）,即“受试者工作特征”。

AUC（Area Under ROC Curve），即ROC曲线下的面积，用于比较当两个学习器的ROC曲线交叉时谁的性能更好。

2.3.4 代价敏感错误率与代价曲线