机器学习入门0005 tensorflow_NMT模型

机器学习入门0005 tensorflow_NMT模型

1.简介

nmt（Neural Machine Translation）是一个序列到序列的模型。可以用来做【聊天机器人】，【翻译】，【关键词提取】，【文章摘要】，【图像描述】等功能。用法简单，只需要安装Tensorflow1.4+ 版本即可运行。这个地址是Tensorflow 官方github https://github.com/tensorflow/nmt，里面内容很全面。

2.运行官网github的例子

下面内容是从斯坦福大学下载英语到越南语的平行语料库，然后通过nmt模型使用语料库训练一个 英语-越南语 或者 越南语-英语 的翻译模型。

2.1  下载平行语料库

在控制台输入这个命令nmt/scripts/download_iwslt15.sh /tmp/nmt_data，就可以下载小的平行语料库了。这个命令需要在nmt目录外边执行，会把数据下载到/tmp/nmt_data/下，其实是8个文件。在国内，由于网络原因，这个命令下载总是会中止，很蛋疼。可以借助其他下载工具来下载（比如某雷，某度云盘，某旋风等），这些文件的地址是：

https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/train.en
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/train.vi
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/tst2012.en
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/tst2012.vi
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/tst2013.en
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/tst2013.vi
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/vocab.en
https://nlp.stanford.edu/projects/nmt/data/iwslt15.en-vi/vocab.vi

下载完成后放在/tmp/nmt_data/下，也可以下载到