机器翻译：用 Open-NMT 训练翻译模型

作者：@DataTurks

翻译：疯狂的技术宅

原文：https://hackernoon.com/neural…

学习在任意两种语言之间翻译的完整指南

本文通过手把手的教程，帮你学习怎样把给定语言翻译为任意目标语言。我们当前的工作任务完全受到一个开源库的启发，该库的 pyTorch 实现可通过 python 语言(称为Open-NMT(Open-Source Neural Machine Translation))获得。它的设计目的是方便深度学习爱好者研究，使其能够在机器翻译、摘要、图像到文本转换、词法学等领域中实现他们的想法。

尽管有 Google Translate，Microsoft 等提供的诸多高效翻译系统，但它们不是开源的，或者是在限制性许可下不可用的。同时还有其他的库，例如 tensorflow-seq2seq 模型，但其仅仅作为研究代码。

Open-NMT 不仅是开源的，而且还提供大量文档化、模块化和易读的代码，能够快速训练并有效地运行模型。

我将会进一步详细说明怎样对库进行设置，和怎样使用该工具包来训练你自己的翻译系统。本文介绍如何从给定的英语文本生成印地语翻译。

Open-NMT架构概述

开放式 NMT 基于 Guillaume Klein 等人的研究，相关资料可以在这里找到：http://aclweb.org/anthology/P…。

该白皮书中揭示了有关其体系结构的详细信息：

OpenNMT 是完整的用于训练和部署神经机器翻译模型库。该系统是哈佛开发的 seq2seq-attn 的后继产品，并且已经完全重写，提高了效率、可读性和通用性。它包括原生 NMT 模型以及对注意力、gating，stacking， input feeding，正则化、集束搜索以及所需的其他支持。

主系统在 Lua/Torch 数学框架中实现，并且可以使用 Torch 的内部标准神经网络组件轻松扩展。 Facebook Res