深度学习-评估指标

---

前言

本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于深度学习评估指标的相关内容，包括机器学习常用评估指标、GAN评估指标等。这是只会简单记录小部分知识，目的是方便以后复习用。

---

一、机器学习常用评估指标

机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1 值、TPR、FPR、ROC、AUC等指标，还有在生物领域常用的敏感性、特异性等指标。

1.评价指标

混淆矩阵(confusion matrix)

1.1 错误率与精度

错误率：分类错误的样本数占样本总数的比例
精度：分类正确的样本数占样本总数的比例

1.2 精确率

精准率又叫做：Precision、查准率。即预测是正例的结果中，确实是正例的比例。对应西瓜书的问题是：模型挑出的西瓜中有多少比例是好瓜？

1.3 召回率

召回率又叫：Recall、查全率。Recall。即所有正例的样本中，被找出的比例。对应西瓜书的问题是：所有好瓜中有多少比例被模型挑了出来？

1.4 P-R曲线

查准率与查全率是一对矛盾的度量，所以引出P-R曲线。根据预测结果将预测样本排序，最有可能为正样本的在前，最不可能的在后，依次将样本预测为正样本，分别计算当前的精确率和召回率，绘制P-R曲线。
目标：双高，转发成求P-R曲线面积，平衡点(break-even point, BEP,查准率=查全率)

1.5 F1 、Fβ值

BEP简化了点，更常用的是F1度量
F1是查准率与查全率的调和平均决定的
Fβ是查准率与查全率的加权调和平均决定的

1.6 TPR

真正例率=真正例/总正例

1.7 FPR

假正例率=假正例/总反例

1.8 ROC

ROC（Receiver operating characteristic:受试者工作特征）曲线
作业：用来研究学习器泛化性能的有力工具。
ROC曲线的纵轴是真正例率（the positive rate，简称TPR）、横轴是假正例率（false positive rate,简称FPR）

1.9 AUC

ROC曲线面积(area under roc curve)
排序损失(L(rank)): AUC = 1 - L(rank)

1.10 敏感性

1.11 特异性

2.Precision、Recall、mAP

用于单分类任务中，一个二分类混淆矩阵：
查准率、查全率、F1

用于多分类任务中，n个二分类混淆矩阵：
宏查准率(macro-p)、宏查全率(macro-R)、宏F1(macro-F1)
微查准率(micro-p)、微查全率(micro-p)、微F1(micro-p)

2.1 准确率和召回率

2.2 P-R曲线

2.3 mAP

mAP是用来衡量目标检测算法精度的一个常用指标。

1. AP（Average Precision）：某一类P-R曲线下的面积。
2. mAP（mean Average Precision）：所有类别的AP值取平均

3.GAN评估指标：GAN

4.Perplexity(困惑度)：语言处理

5.BLEU:机器翻译

6.ROUGE：机器翻译

---