【机器学习基础】性能度量与评估方法

目录

一 性能度量

1.1 留出法

1.2 k折交叉验证

二 评估方法

2.1 精确率(查准率)，召回率(查全率)和F1值

2.2 ROC曲线

2.3 PR曲线

2.4 使用场景

三 参考材料

---

在学习器将模型构造出来之后，我们通常需要进行评估该模型的好坏，因此本文介绍几种评估的方法，在这之前先明确几个定义：

1.训练误差：模型在训练集上的误差，假设模型为，N为训练样本数量，则误差可表示为

                                        ，其中函数L为预测值与实际值之间的误差。

2.测试误差：模型在测试集上的误差，与训练误差计算方式一致，

                                       

一 性能度量

1.1 留出法

留出法直接将数据集D分成两个集合，一个是训练集，一个是测试集，分的比例可以自由设定，一般会设置三七分或者二八分。在设定好了比例之后，就是按照比例去进行采样就好了，但是对于不同的数据集，就要考虑采样的随机性和数据一致性。

因此在采样的时候，对于数据一致性通常会采用分层采样，这主要是针对正负样本比例差别很大或者某一维特征的数据分布不均匀的情况，举个例子，假设有100个样本的数据集D，其中有80个是正样本，20个负样本，现在采用二八分的比例进行留出，那么分层采样的做法是先在80个正样本中取出80%放到训练集，20%放到测试集，负样本一样的处理，这样就能保证数据的一致性。

对于随机性，可以采用多次随机划分，比如进行10次随机划分，那么就会有10个不同的结果，最终的结果使用这10个结果的平均。

1.2 k折交叉验证

将数据集D划分成K个大小相似的子集，即，其中每两个子集之间都是不相交的，每次用k-1个子集作为训练集，剩下的作为测试集，可以得到k组训练集与测试集，最终的结果采用k组结果的均值。

二 评估方法