评级指标和sklearn.metrics.auc+acc+f1+recall

首先是老师给我推了一篇知乎上不错的文章

除了讲解几个评价指标的基本概念，文章还提到了什么时候该用什么评价指标。对于不平衡数据集（正例负例差距大）而言，Accuracy并不是一个好指标。 此时应该考虑precision、recall以及f1。
对于二分类问题：

当False Negative (FN)的成本代价很高 (后果很严重)，希望尽量避免产生FN时，应该着重考虑提高Recall指标。如癌症诊断
当False Positive (FP)的成本代价很高 (后果很严重)时，即期望尽量避免产生FP时，应该着重考虑提高Precision指标。如垃圾邮件处理
当需要综合权衡两者，可以考虑f1

---

接下来再总结一下实战时，用sklearn.metrics中的各种评估方法

1、Acc

y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
sklearn.metrics.accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)

normalize：默认值为True，返回正确分类的比例；如果为False，返回正确分类的样本数

>>>accuracy_score(y_true, y_pred)
0.5
>>>accuracy_score(y_true, y_pred, normalize=False)
2

2、AUC

y = np.array([1, 1, 2, 2])
scores = np.array([0.1, 0.4, 0.35, 0.8]) # 即概率，经过sigmoid的
fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)
metrics.auc(fpr, tpr) 

3、Recall

sklearn.metrics.recall_score(y_true, y_pred, labels=None, pos_label=1,average='binary', sample_weight=None)

关于reacll的参数详解见此文，本文力求简洁，故不复制

4、f1

sklearn.metrics.f1_score(y_true, y_pred, labels=None, 
				pos_label=1, average='binary', sample_weight=None,
			    zero_division='warn')

参数详解见此文