神经机器翻译(NMT)开源工具

博客地址:http://blog.csdn.net/wangxinginnlp/article/details/52944432

 


工具名称:T2T: Tensor2Tensor Transformers

地址:https://github.com/tensorflow/tensor2tensor

语言:Python/Tensorflow

简介:★★★★★ 五颗星

https://research.googleblog.com/2017/06/accelerating-deep-learning-research.html

 

 

工具名称:dl4mt

地址:https://github.com/nyu-dl/dl4mt-tutorial/tree/master/session2

语言:Python/Theano

简介:

Attention-based encoder-decoder model for machine translation.  

New York University Kyunghyun Cho博士组开发。

 

工具名称:blocks

地址:https://github.com/mila-udem/blocks

语言:Python/Theano

简介:

Blocks is a framework that helps you build neural network models on top of Theano. 

Université de Montréal LISA Lab(实验室主任Yoshua Bengio,实验室现在更名为MILA Lab,主页:https://mila.umontreal.ca/en/)开发,是之前GroundHog(https://github.com/lisa-groundhog/GroundHog)的升级替代版。

 

 

工具名称:EUREKA-MangoNMT

地址:https://github.com/jiajunzhangnlp/EUREKA-MangoNMT

语言:C++ 

简介:A C++ toolkit for neural machine translation for CPU. 

中科院自动化所语音语言技术研究组张家俊博士(http://www.nlpr.ia.ac.cn/cip/jjzhang.htm)开发。

 

工具名称:Nematus 

地址:https://github.com/EdinburghNLP/nematus

语言:Python/Theano

简介:爱丁堡大学发布的NMT工具

 

工具名称:AmuNMT

地址:https://github.com/emjotde/amunmt

语言:C++ 

简介:

A C++ inference engine for Neural Machine Translation (NMT) models trained with Theano-based scripts from Nematus (https://github.com/rsennrich/nematus) or DL4MT (https://github.com/nyu-dl/dl4mt-tutorial).

Moses Machine Translation CIC公司Hieu Hoang博士(http://statmt.org/~s0565741/)等人开发。

 

工具名称:Zoph_RNN

地址:https://github.com/isi-nlp/Zoph_RNN

语言:C++

简介:

A C++/CUDA toolkit for training sequence and sequence-to-sequence models across multiple GPUs.

USC Information Sciences Institute开发。

 


工具名称:sequence-to-sequence mdoels in tensorflow

地址:https://www.tensorflow.org/versions/r0.11/tutorials/seq2seq/index.html

语言:TensorFlow/Python

简介:Sequence-to-Sequence Models

 

工具名称:nmt_stanford_nlp

地址:http://nlp.stanford.edu/projects/nmt/

语言:Matlab

简介:

Neural machine translation (NMT) at Stanford NLP group.

 

工具名称:OpenNMT

地址:http://opennmt.net/

语言:Lua/Torch

简介:

OpenNMT was originally developed by Yoon Kim and harvardnlp.

 

工具名称:lamtram

地址:https://github.com/neubig/lamtram

语言:C++/DyNet

简介:

lamtram: A toolkit for language and translation modeling using neural networks.

CMU Graham Neubig博士组开发。

 

工具名称:Neural Monkey

地址:https://github.com/ufal/neuralmonkey

语言:TensorFlow/Python

简介:The Neural Monkey package provides a higher level abstraction for sequential neural network models, most prominently in Natural Language Processing (NLP). It is built on TensorFlow. It can be used for fast prototyping of sequential models in NLP which can be used e.g. for neural machine translation or sentence classification.

Institute of Formal and Applied Linguistics at Charles University 开发。

(WMT中NEURAL MT TRAINING TASK用的就是Neural Monkey  见:http://www.statmt.org/wmt17/)

 


工具名称:Neural Machine Translation (seq2seq) Tutorial

地址:https://github.com/tensorflow/nmt

语言:python/Tensorflow

简介:

Google Brain的Thang Luong博士等人出品

 

 

如果对上述工具感兴趣,可以使用WMT16的双语语料跑着玩玩,语料地址 http://www.statmt.org/wmt16/translation-task.html。
---------------------
作者:warrioR_wx
来源:CSDN
原文:https://blog.csdn.net/wangxinginnlp/article/details/52944432
版权声明:本文为博主原创文章,转载请附上博文链接!

转载于:https://www.cnblogs.com/jfdwd/p/11058614.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
去年,谷歌发布了 Google Neural Machine Translation (GNMT),即谷歌神经机器翻译,一个 sequence-to-sequence (“seq2seq”) 的模型。现在,它已经用于谷歌翻译的产品系统。   虽然消费者感受到的提升并不十分明显,谷歌宣称,GNMT 对翻译质量带来了巨大飞跃。   但谷歌想做的显然不止于此。其在官方博客表示:“由于外部研究人员无法获取训练这些模型的框架,GNMT 的影响力受到了束缚。”   如何把该技术的影响力最大化?答案只有一个——开源。   因而,谷歌于昨晚发布了 tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架。谷歌表示,它使开发者试验 seq2seq 模型变得更方便,更容易达到一流的效果。另外,tf-seq2seq 的代码库很干净并且模块化,保留了全部的测试覆盖,并把所有功能写入文件。   该框架支持标准 seq2seq 模型的多种配置,比如编码器/解码器的深度、注意力机制(attention mechanism)、RNN 单元类型以及 beam size。这样的多功能性,能帮助研究人员找到最优的超参数,也使它超过了其他框架。详情请参考谷歌论文《Massive Exploration of Neural Machine Translation Architectures》。   上图所示,是一个从中文到英文的 seq2seq 翻译模型。每一个时间步骤,编码器接收一个汉字以及它的上一个状态(黑色箭头),然后生成输出矢量(蓝色箭头)。下一步,解码器一个词一个词地生成英语翻译。在每一个时间步骤,解码器接收上一个字词、上一个状态、所有编码器的加权输出和,以生成下一个英语词汇。雷锋网(公众号:雷锋网)提醒,在谷歌的执行中,他们使用 wordpieces 来处理生僻字词。   据雷锋网了解,除了机器翻译,tf-seq2seq 还能被应用到其他 sequence-to-sequence 任务上;即任何给定输入顺序、需要学习输出顺序的任务。这包括 machine summarization、图像抓取、语音识别、对话建模。谷歌自承,在设计该框架时可以说是十分地仔细,才能维持这个层次的广适性,并提供人性化的教程、预处理数据以及其他的机器翻译功能。   谷歌在博客表示: “我们希望,你会用 tf-seq2seq 来加速(或起步)你的深度学习研究。我们欢迎你对 GitHub 资源库的贡献。有一系列公开的问题需要你的帮助!”   GitHub 地址:https://github.com/google/seq2seq   GitHub 资源库:https://google.github.io/seq2seq/nmt/ 标签:tensorflow  seq2seq  谷歌  机器学习
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值