【NLP】常见衡量指标(metrics)

1 ROC相关：P，R，F

• P/R/F1计算，python API：
  classification_report

• 混淆矩阵：
  multilabel_confusion_matrix
  confusion_matrix

• 场景：
  分类任务：P/R/F1
  推荐任务：ROC/acc

除此之外，还有

宏平均（MACRO）其实是把高频和低频类别同等对待了，
加权平均（WEIGHT）是根据频次来给每个类别分配权重的
微平均（MICRO）是不区分样本类别，计算整体的 精准、召回和F1

2 相关系数：皮尔逊系数

https://blog.csdn.net/u010212101/article/details/82873022

3 字准-字错误率

• https://github.com/zszyellow/WER-in-python
• 错的越多，效果越差

4 困惑度

任务：

• 语言模型：困惑度越大，效果越差

5 MOS打分

6 盲测： 人工标注结果 vs 算法计算结果