【文本分类】多意图分类评估指标

【文本分类】多意图分类评估指标

主要分为两类：label based measures和example based measures。

label based measures

就是针对每一个分类，都进行一次计算，最后再用一种average方法把多个分类统一起来。

假设有这么一组数据，

expected   predicted
A, C        A, B
C           C
A, B, C     B, C

用sklearn MultiLabelBinarizer 进行转化

expected    predicted
1 0 1       1 1 0
0 0 1       0 0 1
1 1 1       0 1 1

对classA来说，

TP = 1（真实和预测都是1）

FP = 0（真实0，预测1）

TN = 1（真实0，预测0）

FN = 1（真实1，预测0）

TN   FP           1