nmt 观察

1、https://github.com/tensorflow/nmt/issues/183

中讲解了如何使用google的nmt。即https://github.com/tensorflow/nmt

2、https://github.com/brightmart/machine_translation/blob/master/tokeniz_chinese2.py使用的是jieba分词

而https://github.com/hxsnow10/nmt说using nltk and chineses tokenizer.

3、https://github.com/mingfengwuye/nmt/blob/master/nmt/scripts/wmt17-zh-en.sh

有下载中英文翻译的数据并分词。但是分词的效果很差。

4、subword-nmt, Subword神经网络翻译 

5、https://github.com/tensorflow/nmt/blob/tf-1.4/nmt/scripts/download_iwslt15.sh

是直接下载已经分词好后的vocba

6、tensor2tensor中英文分词的结果与nmt英越语分词的结果差别有：前者是<pad><EOS> 后者是<unk><s></s>。另外，前者字典里的词都有引号，去除引号参考：python 修改文件中的内容   python 去除字符串两端的引号

将前者改成后者的样式，但是对实验结果没有影响。

7、基于注意力机制，机器之心带你理解与训练神经机器翻译系统

8、https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/data_generators/README.md

讲解了data_generate