Machine Translation
nlpming
自然语言处理爱好者
展开
-
NMT开源代码
We list below NMT-related resources. (Let us know if there is an interesting source that we have missed out!)[Stanford] NMT projects with code/data/models, Matlab.[NYU] Tutorial Code from DL4MT原创 2017-07-06 01:22:14 · 679 阅读 · 0 评论 -
terp 安装和使用
下载网址:https://github.com/snover另需要:terp.jar包使用方法:bin/terp -r -h -N -s -c原创 2017-09-18 18:32:33 · 803 阅读 · 0 评论 -
生成SGML格式,用于算BLEU,NIST,TER
http://www.statmt.org/wmt17/translation-task.html网址:http://www.statmt.org/wmt11/wrap-xml.perl原创 2017-09-18 19:22:01 · 799 阅读 · 0 评论 -
Nematus(一)数据预处理与超参数配置
神经机器翻译工具Nematus 代码:https://github.com/czhiming/Nematus1、数据预处理 ./preprocess.sh主要流程包括:tokenization(符号化处理) This means that spaces have to be inserted between (e.g.) words and punctu原创 2018-01-28 20:07:05 · 1755 阅读 · 0 评论 -
Nematus(二)程序运行流程分析
神经机器翻译工具Nematus 程序运行流程分析nematus/nmt.py/train (程序入口,从此函数开始分析)1.1 读取源语言和目标语言词汇表 # 获取设置的超参数参数 model_options = locals().copy() print 'Model options:',model_options # 加原创 2018-01-28 20:09:28 · 755 阅读 · 0 评论 -
Nematus(三)技巧分析
神经机器翻译工具Nematus Nematus中的技巧分析1、build_model 解析?build_encoder 解析?目标语言端句子的处理? build_model 解析,包括 建立编码器,和 建立解码器 建立编码器 x,ctx = build_encoder(tparams,options,trng,use_noise,x_mask,sampl原创 2018-01-28 20:10:26 · 1090 阅读 · 0 评论