自动摘要评价指标

1. ROUGE

ROUGE是机器自动摘要的评价指标，有很多个优化版本，核心思想是通过统计模型生成的摘要句子和标准摘要句子相同的n-gram比率来评价摘要生成质量。

1.1 ${\text{ROUGE}}_N$

$${\text{ROUGE}}_N=\frac{\text{Count}(共现的字/词)}{\text{Count}(摘要)}$$

1.2 ${\text{ROUGE}}_L$

${\text{ROUGE}}_L$考虑 最长子序列 (LCS) 的长度与句子长度的比例

$${\text{Precision}}_{\text{LCS}}=\frac{\text{LCS}(S,\hat{S})}{\text{Length}(\hat{S})}$$

$${\text{Recall}}_{\text{LCS}}=\frac{\text{LCS}(S,\hat{S})}{\text{Length}(S)}$$

$${\text{F}}_{\text{LCS}}=\frac{(1+{\beta }^2){\text{Recall}}_{\text{LCS}}{\text{Precision}}_{\text{LCS}}}{{\text{Recall}}_{\text{LCS}}+{\beta }^2{\text{Precision}}_{\text{LCS}}}$$

优点：能够衡量句子级别的顺序，不需要制定n-gram的长度
缺点：只考虑了最长子序列的长度，忽略了其他子序列的长度占句子长度的比例