[基本功]分类模型评价标准

混淆矩阵：

	预测阳性	预测阴性	总计
实际阳性	TP	FN	P
实际阴性	FP	TN	N
总计	X	Y	$n_{total}$

1. 准确率(accuracy)
   $$\frac{TP+TN}{n_{total}}=\frac{TP+TN}{TP+TN+FP+FN}$$
   缺点：无法应对样本不均衡情况。当负样本占99%时，吧所有样本预测为负样本也能获得99%的准确率

2. 精确率(precision)
   $$\frac{TP}{X}=\frac{TP}{TP+FP}$$

3. 召回率(recall)
   $$\frac{TP}{P}=\frac{TP}{TP+FN}$$

4. F1值
   $$2\ast \frac{precision\ast recall}{precision+recall}$$

5. ROC曲线(Receiver operating characteristic Curve, 受试者工作特征曲线)

   横坐标：假阳性率，$FPR=\frac{FP}{N}$，负样本中预测为正样本的比例

   纵坐标：真阳性率，$TPR=\frac{TP}{P}$，衡量敏感度，召回率

   绘制：

   法1：不断移动分类器的阈值，计算TPR和FPR标在图中，最后连接

   法2：横坐标刻度间隔设为$\frac{1}{N}$，纵坐标刻度间隔设为$\frac{1}{P}$，根据模型输出结果降序排列，依次遍历样本，每遇到一个正样本就沿纵轴方向绘制一个单位间隔，否则沿横轴绘制一个单位间隔。

   

6. AUC(Area under the curve)

   ROC曲线下的面积，沿着横轴做积分即可。实际中ROC曲线都会在$y=x$上方，所有AUC一般在0.5和1之间。AUC值越大，说明模型性能越好。

   含义：表示预测的整理排在负例前面的概率。

7. PR曲线和ROC曲线的区别？

   当正负样本的分布发生变化时，ROC曲线形状基本不变，而P-R曲线一般变化剧烈

   若将表中N，即负样本个数扩大10倍，则对于ROC来说，计算横坐标的分子(FP)和分母(N)都会相应扩大，计算纵坐标的分子(TP)和分母§保持不变，故ROC曲线基本不变。

   而对于P-R曲线，横坐标召回率基本不变，纵坐标精确率的TP和TP+FP只有FP有变动，故会带来较大变化

   ROC曲线可以尽量降低不同测试集带来的干扰，更加客观的衡量模型本身性能。在实际中，正负样本数量往往不平衡，若选择不同测试集，P-R曲线的变化就会非常大，而ROC能更加稳定的反应模型本身的好坏。

   如果研究者希望看到模型在特定数据集上的表现，则P-R曲线更加直观。