前面一篇博客主要探究了QG(Question Generation)任务的基本策略:
- 博客1:基本策略
- 博客2:评价指标、初步探索
- 博客3:训练数据和预测数据预处理的部分
- 博客4:模型的构建
- 博客5:生成“问答对”
- 博客6:问答对有效性过滤(基于文本分类任务)
- 博客7:用问题库检索服务
一、评价指标
我们可以参考机器翻译任务中的评价指标
1.1 BLUE
- 1)早期的BLUE公式:
- y y y为文本, y i y^{i} yi为参考文本
- C ( g , y i ) C(g, y^{i}) C(g,yi)表示 g g g在参考文本中 y i y^{i} yi出现的次数
- G n ( y ) G_n(y) Gn(y)表示y的n元组集合
B L U E − n = p n = ∑ g ∈ G n ( y ) C ( g , y i ) ∑ g ∈ G n ( y ) C ( g , y ) BLUE-n=p_n=\frac{\sum_{g \in G_n(y)}C(g, y^{i})}{\sum_{g \in G_n(y)}C(g, y)} BLUE−n=pn=∑g∈Gn(y)C(g,y)∑g∈Gn(y)C(g,yi)
- 2)改进精确率后的公式:
- BP为长度惩罚因子
- $BP= \begin{cases}
B L U E − n = p n = ∑ g ∈ G n ( y ) m i n { C ( g , y ) , m a x 1 ≤ i ≤ m C ( g , y i ) } ∑ g ∈ G n ( y ) C ( g , y ) BLUE-n=p_n=\frac{\sum_{g \in G_n(y)}min\{C(g, y), \underset{1 \le i \le m}{max} C(g, y^{i})\}}{\sum_{g \in G_n(y)}C(g, y)} BLUE−n=pn=∑g∈Gn(y)C(g,y)∑g∈Gn(y)min{ C(g,y),