关系抽取中分类评价指标

新年第一篇博客~~，也是人生第一篇博客，愿能够坚持下去。
最近做关系抽任务时在评价指标方面遇到了一些问题，因此对分类评价指标进评价指标重新进行了学习，在此做个简单的总结。评价指标一般是指是对机器学习模型算法和参数好坏的一种定量评价方法，目前大部分评价指标——不管是准确率还是f值都只能片面反应模型的效果，所以如何运用评价指标就显得尤为重要，往往需要多种评价指标综合运用。

1 关系抽取中的主要评价指标

在关系抽取中我们常用的评价指标一般有准确率（Accuracy）、精确率（Precision）、召回率（Recall），F-score，pr曲线，ROC-AUC曲线等。

2 混淆矩阵

在介绍评价指标前，先回忆下一个简单的概念——混淆矩阵。在做分类任务时，预测结果和真实情况之间存在四种不同的组合：TP，FP，FN和TN，这四种组合构成了混淆矩阵，如下图所示：

其中：

• TP（真正例）：预测为正的正样本
• FP（假正例）：预测为正的负样本
• FN（假负例）：预测为负的正样本
• TN（真负例）：预测为负的负样本

3 准确率

准确率是最常见和最简单的评价方法，简单来说预测正确的样本数量和所有样本数量之比，也可以用如下公式表示，需要注意的是不要和精确率（Precision）弄混。准确率评价算法有一个明显的弊端问题，就是在数据的类别不均衡，特别是有极偏的数据存在的情况下，准确率这个评价指标是不能客观评价算法的优劣的，比如正负比例99：1， 只要把所有样本预测为负例，模型就能达到0.99的效果，显然是不合理的。