神经机器翻译
小小鸟要高飞
小小学生,埋头科研,岂不快哉。
展开
-
moses(mosesdecoder)数据预处理&BPE分词&moses用法总结
mosesdecoder&BPE数据预处理moses数据预处理BPE分词moses数据预处理源码链接:https://github.com/moses-smt/mosesdecoder做机器翻译的小伙伴应该会moses很熟悉,这是一个很强大的数据预处理工具,虽然已经用了很多年了,但现在依然非常流行。很多人做数据预处理都会用到BPE算法,bpe算法太强大,30000个子词几乎可以表...原创 2020-01-16 13:42:26 · 9929 阅读 · 5 评论 -
Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and...
2019NAACL的一篇文章,个人觉得很好的一篇文章,将去噪自编码器和回译应用到词对齐的过程中,应用比较灵活。文章链接:Revisiting Adversarial Autoencoder for Unsupervised Word Translation with Cycle Consistency and Improved Training代码链接:https://ntunlpsg.g...原创 2019-10-17 20:11:49 · 292 阅读 · 0 评论 -
Artetxe - 2019ACL - An Effective Approach to Unsupervised Machine Translation
An Effective Approach to Unsupervised Machine Translation知识点摘要引言本文无监督方法NMT hybridization(NMT杂交)实验结果结论和未来工作文章链接:An Effective Approach to Unsupervised Machine Translation知识点摘要虽然机器翻译传统上依赖大量的并行语料库,但最...原创 2019-10-07 16:55:50 · 987 阅读 · 2 评论 -
Unsupervised Pivot Translation for Distant Languages
Unsupervised Pivot Translation for Distant Languages论文点摘要引言相关工作Unsupervised Pivot TranslationLearning to Route(LTR)对比方法Experiments Design这是2019年ACL的一篇文章,是一个微软的实习生写的。文章主要解决远距离语言的翻译问题,是先将源语言先翻译为中间语言,然后...原创 2019-10-07 20:54:32 · 782 阅读 · 0 评论 -
Multilingual Unsupervised NMT using Shared Encoder and Language-Specific Decoders
Multilingual Unsupervised NMT using Shared Encoder and Language-Specific Decoders知识点摘要引言本文方法这是2019ACL的一篇文章。本文借鉴《Unsupervised Neural Machine Translation》一文的思想,只是把两种语言之间的翻译改为四种语言之间的翻译。效果比较好而已。文章链接:M...原创 2019-10-08 14:37:42 · 783 阅读 · 0 评论 -
Unsupervised Bilingual Word Embedding Agreement for Unsupervised Neural Machine Translation
Unsupervised Bilingual Word Embedding Agreement for Unsupervised Neural Machine Translation知识点摘要引言初步实验Train UNMT with UBWE Agreement这是2019ACL的一篇文章,探究了无监督的双语词嵌入和无监督神经机器翻译之间的关系。哈工大的一篇文章,感觉文章并没有什么实质性的内...原创 2019-10-08 18:59:29 · 760 阅读 · 0 评论 -
Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations
Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations技术点摘要引言Degeneracy Issue of Zero-shot NMT改善方法这是2019ACL的一篇文章,是香港大学和facebook AI实验室合作完成的一篇文章。文章链接:Improved Zero-shot Neur...原创 2019-10-08 20:59:39 · 919 阅读 · 0 评论 -
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder知识点摘要引言Cross-lingual Word EmbeddingSentence Translation3.1 Context-aware Beam Search3.2 Denoising实验结果总结这是2...原创 2019-10-09 13:30:21 · 939 阅读 · 0 评论 -
Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation
Extract and Edit: An Alternative to Back- Translation for Unsupervised Neural Machine Translation知识点摘要引言背景Extract-Edit方法总结这是2019NAACL的一篇文章。文本是在facebook的基础上做的后续工作,针对回译存在的问题,提出了提取-编辑方法来取代回译,取得了不错的效果。文...原创 2019-10-09 21:32:12 · 1152 阅读 · 1 评论 -
Artetxe - 有监督双语词嵌入Learning principled bilingual mappings of word embeddings
Learning principled bilingual mappings of word embeddings while preserving monolingual invariance论文点摘要引言Learning bilingual mappings这是2016年ACL的一篇文章,有监督的双语词映射,不好理解,有时间再仔细看。文章链接:Learning principled bi...原创 2019-10-10 10:56:52 · 530 阅读 · 0 评论 -
Artetxe - 弱监督双语词嵌入学习Learning bilingual word embeddings with (almost) no bilingual data
@[TOC](Learning bilingual word embeddings with (almost) no bilingual data)这是2017ACL的一篇文章。这是一种弱监督的方法,使用了少量的平行语料来学习双语词嵌入。文章链接:Learning bilingual word embeddings with (almost) no bilingual data摘要双语词...原创 2019-10-10 11:00:27 · 1119 阅读 · 0 评论 -
平行句挖掘Unsupervised Parallel Sentence Extraction with Parallel Segment......
Unsupervised Parallel Sentence Extraction with Parallel SegmentDetection Helps Machine Translation论文点摘要这是2019ACL德国慕尼黑大学的一篇文章。文章是从相近的语料中挖掘平行句,并不是主要做翻译任务,但此任务所挖掘的平行句是不是对翻译任务有所帮助?文章链接:Unsupervised Par...原创 2019-10-10 11:01:02 · 918 阅读 · 0 评论 -
Artetxe - 2018AAAI - Generalizing and Improving Bilingual Word Embedding Mappings.......
Generalizing and Improving Bilingual Word Embedding Mappings with a Multi-Step Framework of Linear Transformations知识点摘要这是2018AAAI的一篇文章。文章链接:Generalizing and Improving Bilingual Word Embedding Mappi...原创 2019-10-06 20:25:55 · 1005 阅读 · 2 评论 -
Artetxe - 2018EMNLP - Unsupervised Statistical Machine Translation
Unsupervised Statistical Machine Translation知识点摘要引言Cross-lingual n-gram embeddings本文无监督SMTIterative refinement总结和工作展望这是2018EMNLP上的一篇文章。文章链接:Unsupervised Statistical Machine Translation代码链接:https:...原创 2019-10-06 20:01:15 · 991 阅读 · 0 评论 -
face - Word Translation without Parallel Data
无监督机器翻译一机器翻译Word Translation without Parallel Data基线方法相似性度量方法对抗训练改进结果比较无监督模型选择的验证标准机器翻译目前主流的机器翻译模型都是有监督的,本文主要介绍无监督机器翻译。Facebook某课题组在无监督机器翻译方面发表了四篇论文,四篇论文一脉相承,层层深入,前一篇都是后一篇的基础,对于无监督机器翻译的学习有很大的帮助。今天先介...原创 2019-09-18 20:39:54 · 3705 阅读 · 0 评论 -
Artetxe - 2018ICLR - Unsupervised Neural Machine Translation
无监督机器翻译二(2)Unsupervised Neural Machine Translation技术点整体流程原文重构译文重构加噪&降噪类比结果Unsupervised Neural Machine Translation本文介绍无监督翻译的另一篇文章,其实这篇文章跟我介绍的《无监督机器翻译二》的那篇文章撞车了,两篇文章中的思路大体相同,只是具体的细节有些不同,两篇还都中了ICML...原创 2019-09-26 18:36:01 · 2897 阅读 · 0 评论 -
face - Phrase-Based & Neural Unsupervised Machine Translation
无监督神经机器翻译三Phrase-Based & Neural Unsupervised Machine Translation技术点主要思想整体流程设计细节神经机器翻译初始化词对齐语言模型迭代回译统计机器翻译Phrase-Based & Neural Unsupervised Machine Translation这是facebook小哥哥的第三篇文章,获得了EMNLP201...原创 2019-09-27 23:12:23 · 2759 阅读 · 0 评论 -
face - Cross-lingual Language Model Pretraining ---- XLM
神经机器翻译四原创 2019-09-28 22:58:58 · 3094 阅读 · 0 评论 -
通过BPE解决OOV问题----Neural machine Translation of Rare Words with Subword Units
Neural machine Translation of Rare Words with Subword Units动机和创新点BPE算法前面的两篇facebook的文章都提到了BPE(Byte Pair Encoding,双字节编码)算法,可能大家不太了解,今天通过这篇文章介绍一下BPE的具体原理。这是2016ACL关于NLP分词操作的论文,许多论文方法(例如BERT等)都将该方法应用到分词...原创 2019-09-29 23:24:52 · 3907 阅读 · 1 评论 -
Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation
Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation摘要方法介绍生成字典将源语言转换成TranslationeseTranslationese翻译为目标语言数据和参数实验结果这是2019年ACL上的一篇文章,是一篇关于无监督机器翻译的。摘要给出一个粗略的、逐字逐句的源语言解释,母...原创 2019-10-04 13:36:31 · 678 阅读 · 1 评论 -
Tied Transformers: Neural Machine Translation with Shared Encoder and Decoder
Tied Transformers: Neural Machine Translationwith Shared Encoder and Decoder知识点摘要介绍with Shared Encoder and Decoder)知识点通过BPE或者word pieces算法实现源语言和目标语言端词汇共享(NMT常用方法)。摘要共享源语言和目标语言端词汇表和词嵌入已经成为NMT中...原创 2019-10-04 15:11:01 · 897 阅读 · 0 评论 -
Unsupervised Neural Machine Translation with SMT as Posterior Regularization
Unsupervised Neural Machine Translation with SMT as Posterior Regularization知识点摘要文本方法这是2019 AAAI 微软的一篇文章。文章链接:Unsupervised Neural Machine Translation with SMT as Posterior Regularization知识点使用了基于...原创 2019-10-05 17:12:55 · 980 阅读 · 0 评论 -
Unsupervised Neural Machine Translation with Weight Sharing
Unsupervised Neural Machine Translation with SMT as Posterior Regularization知识点摘要介绍模型结构定向self-attention权重共享这是来自于中科院的的一篇文章,发表于2018年ACL。文章链接:Unsupervised Neural Machine Translation with Weight Sharin...原创 2019-10-05 20:02:58 · 932 阅读 · 0 评论 -
Artetxe - 2019ACL - Bilingual Lexicon Induction through Unsupervised Machine Translation
Bilingual Lexicon Induction through Unsupervised Machine Translation知识点摘要介绍方法介绍这是2019年ACL的一篇文章,这篇是在facebook小哥第一篇文章的基础上做的改进,主要用来生成双语词典,效果更好一些。文章链接:Bilingual Lexicon Induction through Unsupervised Ma...原创 2019-10-06 15:42:52 · 1049 阅读 · 0 评论 -
Artetxe - 2018ACL - A robust self-learning method for fully unsupervised cross-lingual mappings...
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings知识点摘要引言本文方法实施流程预处理初始化自学习结果分析本文是来自巴斯克地区大学发表于ACL 2018会议的文章,针对无监督跨语言映射词嵌入任务中初始化阶段中的不足,提出一种无监督的初始化方法,并结合一套强大的...原创 2019-10-06 17:03:15 · 1406 阅读 · 0 评论 -
face - Unsupervised Machine Translation Using Monolingual Corpora Only
无监督机器翻译二本文继续上一篇博文来总结facebook小哥哥的第二篇文章,上一篇是词级别的翻译,这篇是句子级别的翻译,这一篇是在上一篇的基础上继续做的工作,里面用到了上一篇的方法,所以没有看上一篇的建议先看一下上一篇文章的介绍。神经机器翻译模型神经机器翻译模型主要使用了seq2seq的方法,文中介绍了Encoder和Decoder的一些知识,这些都很基础,怀疑作者是在凑字数(哈哈哈,这么帅...原创 2019-09-21 15:15:12 · 3316 阅读 · 0 评论