深度学习-评估指标目录
前言
本深度学习系列是根据paddle飞浆所简单整理的,需要可自行跳转学习。本节是关于深度学习评估指标的相关内容,包括机器学习常用评估指标、GAN评估指标等。这是只会简单记录小部分知识,目的是方便以后复习用。
一、机器学习常用评估指标
机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1 值、TPR、FPR、ROC、AUC等指标,还有在生物领域常用的敏感性、特异性等指标。
1.评价指标
混淆矩阵(confusion matrix)
1.1 错误率与精度
错误率:分类错误的样本数占样本总数的比例
精度:分类正确的样本数占样本总数的比例
1.2 精确率
精准率又叫做:Precision、查准率。即预测是正例的结果中,确实是正例的比例。对应西瓜书的问题是:模型挑出的西瓜中有多少比例是好瓜?
1.3 召回率
召回率又叫:Recall、查全率。Recall。即所有正例的样本中,被找出的比例。对应西瓜书的问题是:所有好瓜中有多少比例被模型挑了出来?
1.4 P-R曲线
查准率与查全率是一对矛盾的度量,所以引出P-R曲线。根据预测结果将预测样本排序,最有可能为正样本的在前,最不可能的在后,依次将样本预测为正样本,分别计算当前的精确率和召回率,绘制P-R曲线。
目标:双高,转发成求P-R曲线面积,平衡点(break-even point, BEP,查准率=查全率)
1.5 F1 、Fβ值
BEP简化了点,更常用的是F1度量
F1是查准率与查全率的调和平均决定的
Fβ是查准率与查全率的加权调和平均决定的
1.6 TPR
真正例率=真正例/总正例
1.7 FPR
假正例率=假正例/总反例
1.8 ROC
ROC(Receiver operating characteristic:受试者工作特征)曲线
作业:用来研究学习器泛化性能的有力工具。
ROC曲线的纵轴是真正例率(the positive rate,简称TPR)、横轴是假正例率(false positive rate,简称FPR)
1.9 AUC
ROC曲线面积(area under roc curve)
排序损失(L(rank)): AUC = 1 - L(rank)
1.10 敏感性
1.11 特异性
2.Precision、Recall、mAP
用于单分类任务中,一个二分类混淆矩阵:
查准率、查全率、F1
用于多分类任务中,n个二分类混淆矩阵:
宏查准率(macro-p)、宏查全率(macro-R)、宏F1(macro-F1)
微查准率(micro-p)、微查全率(micro-p)、微F1(micro-p)
2.1 准确率和召回率
2.2 P-R曲线
2.3 mAP
mAP是用来衡量目标检测算法精度的一个常用指标。
- AP(Average Precision):某一类P-R曲线下的面积。
- mAP(mean Average Precision):所有类别的AP值取平均