yc星光

在翻译工作中，经常遇到不同国家的语言代码，这里收集了一些以便日后查阅维基百科

在机器翻译中，经常使用中的 mosesdecoder/scripts/generic/multi-bleu.perl 来评测模型的 bleu，只关注最后的bleu得分，而忽略计算过程。

1.mosesmoses是由英国爱丁堡大学、德国亚琛工业大学等8家单位联合开发的一个基于短语的统计机器翻译系统。本文主要介绍 mosesdecoder 中的 tokenizergithub地址2.安装及使用2.1 安装直接 clone 上面 githubgit clone https://github.com/moses-smt/mosesdecoder.git2.2 tokenizer 使用进入tokenizer.perl所在目录cd mosesdecoder/scripts/t

1 . Fairseq 简介Fairseq 是一个用 PyTorch 编写的序列建模工具包，它可以为翻译、摘要、语言建模和其他文本生成任务训练自定义模型。特点：多GPU训练使用多种搜索算法在 CPU 和 GPU 上快速生成在单个 GPU 上，gradient accumulation可以使用大的小批量进行训练可扩展：轻松注册新 models , criterions , tasks , optimizers and learning rate schedulers混合精度训练fu