Quality-Estimation0 (翻译质量评价-使用 BERT 特征训练 QE 模型)

简介

翻译质量评价（Quality Estimation,QE）是机器翻译领域中的一个子任务，大致可分为 Sentence-level QE，Word-level QE，Phrase-level QE，详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html 。本项目针对 Sentence-level QE，使用 bert生成翻译句对中单词的 context embedding，然后将其输入到Bi-LSTM中，使用最后一个隐层节点的输出计算翻译质量评分。由于 wmt18-qe 的测试集标签没有公布，本项目仅在 wmt17-qe 数据集上进行实验。

实验需要的包

tensorflow >= 1.11.0;
keras(在2.2.4下测试通过，其他版本应该也是可以的，请自行尝试);
matplotlib;

实验步骤

代码见github : https://github.com/xlniu/Quality-Estimation0

1、 准备数据，下载17年wmt sentence level的数据，并将数据改写成标准形式：‘src ||| mt’,示例：‘Who was Jim Henson ? ||| J