多分类/多标签的评价指标以及阈值调优

多标签/多分类

准确率

sklearn.metrics.precision_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None)
average参数定义了该指标的计算方法，二分类时average参数默认是binary，多分类时，可选参数有
micro： 整体准确率
macro： 平均的准确率，不考虑各种标签的权重
weighted： 带权重的准确率，考虑各种标签的权重
我理解weighted这种方式更加合理一些
https://zhuanlan.zhihu.com/p/59862986

召回率

计算召回率由相应的函数
sklearn.metrics.recall_score
https://blog.csdn.net/pearl8899/article/details/109874210

阈值自动调优

针对每一种标签单独选择阈值，使得P+R最大
1)使用sklearn.metrics.precision_recall_curve得到PR曲线
2)利用argmax函数求最优解
下面代码的目标为max(precision+recall)
*3)如果有一些限制条件，例如P>0.9，可以在得到PR曲线之后删掉一部分后再使用argmax函数
（不知道能否使用scipy，linego等专业工具解决该问题，或许没有必要）
（如果数据过多可能需要使用spark进行加速）

import numpy as np
from numpy.core.fromnumeric import argmax
from sklearn.metrics import precision_recall_curve
y_true = np.array([0, 0, 1, 1,0,0,1])
y_scores = np.array([0.3, 0.2, 0.65, 0.7, 0.4, 0.15, 0.8])
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)

print(precision)
print(recall)
print(thresholds)
target = precision + recall
index = argmax(target)
print(thresholds[index])

sklearn.metrics.precision_recall_curve的源码解析如下
https://zhuanlan.zhihu.com/p/404798546