本文详细介绍了如何在Linux系统上安装fairseq并利用它训练一个NMT机器翻译系统。首先，列举了所需环境如fairseq、mosesdecoder、subword-nmt和jieba。接着，通过序列化处理、中文分词、BPE分词和生成词表等步骤对数据进行预处理。然后，使用fairseq进行训练，并提供了训练参数示例。最后，讨论了解码过程和后处理步骤，包括计算BLEU分数和提取预测文本。
以构建英-中NMT为例，在linux上运行，fairseq版本为0.8.0
环境准备
Requirements：
fairseq：pytorch包，包括许多网络结构，https://github.com/pytorch/fairseq
mosesdecoder：机器翻译的标准数据处理工具， https://github.com/moses-smt/mosesdecoder
subword-nmt：bpe分词工具，https://github.com/rsennrich/subword-nmt
jieba：中文分词工具，https://github.com/fxsjy/jieba
除了jieba，其它我习惯是下载包在本地运行
Data：
准备raw双语数据，一句一行，英中各存为三个文件，分别是训练集，验证集，测试集，如下：
目录结构：
以下的命令都是在主目录下运行
<
最低0.47元/天 解锁文章
908
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
