机器学习的评价方法PRF

目前学界主流是使用精确率(Precision)、召回率(Recall)和 F 值(F-measure)来评价一个信息检索系统的质量的。这三个值通常放在一起进行考虑，因此也被称为PRF 评价方法。

假设参考样本中存在的信息条数为 all，系统抽取出的信息条数为 get_sys，其中抽取出的正确信息的条数为 current_sys，则精确率、召回率和 F 值的计算公式分别如式(2-23)、式(2-24)和式(2-25)所示。
????????? = ???????_???/???_??? (2-23)
?????? = ???????_???/??? (2-24)
? = ????????? ∗ ?????? ∗ (?2 + 1)/(????????? + ??????) ∗ ?2 (?2指的是?的平方) (2-25)
精确率主要是反映系统的准确程度，召回率主要是反映了系统的“查全率”。通常情况下，精确率和召回率会互相制约，例如，在极端情况下，系统只抽取出了一个正确的词，那么精确率就是 100%，但召回率会非常低；或是系统将所有可能
的结果都列举了出来，则召回率为 100%，但精确度也会很低。因此引入 F 值，它是精确率和召回率的调和平均，可以在整体上反映整个系统的抽取质量。如果取
? = 1，则 F 值变为最常见的 F1 值(F1-measure)的形式，如式(2-26)所示：
?1 = ????????? ∗ ?????? ∗ 2/(????????? + ??????) (2-26)
本文实验部分评测均使用 F1 值作为评测指标。例如，有如下语句：
“采矿冶金和机械制造等传统产业是瑞典经济的重要支柱。”
其参考的切分结果为：
“采矿 冶金 和 机械 制造 等 传统 产业 是 瑞典 经济 的 重要 支柱 。”
分词系统给出的结果为：
“采矿冶金 和 机械制造 等 传统 产业 是 瑞典 经济 的 重要 支柱 。”
可以得到，参考结果中的词个数 all=15，待测结果中的词个数 get_sys=13，其中正确的词个数 current_sys=11，
因此可以计算得到精确率为11/13 ≈ 84.62%，
召回率为11/15 ≈ 73.33%，F1 值为84.62% × 73.33% × 2/(84.62% + 73.33%) ≈78.57%。