机器学习中衡量指标
准确率(accuracy)精确率(precision)召回率(Recall)
混淆矩阵(Confusion Matrix)
预测值 | |||
正例 | 反例 | ||
真实值 | 正例 | TP(True Positive) | FN(False Negative) |
反例 | FP(False Positive) | TN(True Negative) |
TP:正例被预测为正例,正确地预测为正例。
FN:正例被预测为反例,错误地预测为反例。
FP:反例被预测为正例,错误地预测为正例。
FN:反例被预测为反例,正确地预测为反例。
1)准确率:分类正确的样本占样本总数的比例
2)精确率:正确分类为正样本占所有被分类为正样本的比例
3)召回率:正确分类为正样本与所有正样本的比例
4)F值
单独通过精确率或者召回率评价模型的好坏不太准确,因此需要使用综合评价指标来对分类模型进行评价。F值(F-measure,又称F-score),定义为精确率和召回率的调和平均:
其中α为调和参数值,当α取1时,F值就是常见的F1:
5)ROC曲线
受试者工作特征曲线(Receiver Operating Characteristic Curve)
分别以真正率TPR,假正率FPR作为竖轴和横轴。
假设检验集中共有n个样本,每个样本为正例或者反例,根据分类算法可以得出每个样本属于正例的概率,将样本按照此概率由高到低排序;将样本为正例的概率由高到低依次作为阈值,当样本为正例的概率大于等于阈值时,则为正例,反之,则为反例。
对于每一个选定的阈值,均能产生对应于ROC上的点,将这n个点连接绘制得到ROC图。
ROC图下的面积称为AUC(Area Under Curve),AUC值越大,表示分类模型的预测准确性越高,个人理解,当假正率比较低的情况下,真正率相对较高,此时得到的AUC值就会越大;而ROC越光滑,一般表示过拟合现象越轻。
相比其他评价标准,ROC的优势在于当检验集中的正负样本的分布发生变化时,ROC能够保持不变。另一常用的评价曲线Precision-Recall曲线则受正负样本的分布影响极大。