同传指标说明 SIMULEVAL : An Evaluation Toolkit for Simultaneous Translation

论文链接: link

同传的评价指标

• (1) AP average proportion
  delay of $y_i$
  

$X=[X_1,X_2...X_n]$ 输入
$Y=[Y_1,Y_2...Y_n]$ 输出
$Y^{\ast }$表示reference target

缺点： 受输入输出长度大小影响。 取值范围为【0，1】，但是在此区间分布并不均匀。

*(2) AL average lagging


表示 target 端延迟为source 长度|x|时的最小index.

表示对比的理想策略

*（3）DAL

引入了最小延迟

并且考虑了之后的token

speech 指标

原始AL

缺点， 当出现过短的解码结果时，AL 为负数。

改进：

将$|Y|$ 替换为$|Y^{\ast }|$, 即将模型生成结果替换为goden reference 的长度。