阅读小结:Google's Neural Machine Translation System

原创 2016年10月01日 18:18:01

自然语言处理nlp中很多思想对cv也有用,所以决定看这篇paper。

然后我会从几篇前置的paper看起,搜集的相关资料也附在下面。其中一些短博客看起来比较快。

我也不是很懂nlp,求大家指点~


解释 word2vec: https://arxiv.org/pdf/1411.2738v4.pdf 

video解释hierarchy softmax: https://www.youtube.com/watch?v=B95LTf2rVWM  我搬运到B站http://www.bilibili.com/video/av6475775

讲为什么Char好的文章:http://colinmorris.github.io/blog/1b-words-char-embeddings (有一些聚类的例子)


1. Character-Aware Neural Language Model

arXiv:  http://cn.arxiv.org/pdf/1508.06615.pdf

知乎上别人的综述: https://zhuanlan.zhihu.com/p/21242454

这篇paper的关键都在下面这张Figure 1上。


图上的第一个矩阵的9列  对应  “absurdity”的 9个char,每个char用 charembeding得到的是4维特征。

好,以上这个4*9的矩阵就是这个网络的输入。语言模型的目标是  预测下一个单词。

然后在这个矩阵上 应用 h 个 不同 大小的CNN filter,他们的大小都是 4 * x的。

这样可以得到 h 个 卷积后的heatmap  为  1 *(9-h+1)的向量。

对这个向量再做max,得到一个value。那么,有h个filter,这样就得到了 h个 value,构成了‘absurdity‘的特征。一般长度为[100 ,1000]。

然后经过一次highway network,然后再是LSTM,随后是 hierarchical softmax。

这个模型参数省在少了一个word embeding的矩阵。虽然多了CNN,但filter也有限,参数没多多少。

 

2. Exploring the Limits of Language Modeling

arXiv:  http://arxiv.org/pdf/1602.02410v2.pdf

github: https://github.com/tensorflow/models/tree/master/lm_1b

第一次将上面文章的方法应用在大数据集(one billion word benchmark)上。

做了一些改进。其中3.1这部分不懂啊。。。。是用来分析noise data的?

论文3.2中说了,加一项每个单词的映射,(因为有些单词虽然char级别像,但意思很不同)来fix原来光用charCNN的问题。


3.Google's Neural Machine Translation System

这篇留个坑。估计过个十天半个月再更。

版权声明:本文为博主原创文章,未经博主允许不得转载。

[持续更新] 神经机器翻译论文汇总 Papers on Neural Machine Translation

[持续更新] 神经机器翻译论文汇总Papers on Neural Machine Translation 博主在这里尽可能地整理些神经机器翻译相关的重要论文,大概按照下面的条目分类,不同类别中有互相...
  • Riddlesky
  • Riddlesky
  • 2017年02月15日 15:23
  • 1206

[持续更新] 神经机器翻译论文汇总 Papers on Neural Machine Translation

[持续更新] 神经机器翻译论文汇总Papers on Neural Machine Translation 博主在这里尽可能地整理些神经机器翻译相关的重要论文,大概按照下面的条目分类,不同类别中有互相...
  • Riddlesky
  • Riddlesky
  • 2017年02月15日 15:23
  • 1206

ACL_2017年深度学习与NLP论文分享先行版(一)

本周末参加了由腾讯和中国中文信息学会青工委联合举办的ACL2017前沿论文报告会,邀请了ACL发表论文的国内学者们介绍NLP研究最新技术动态。 ACL是Annual Meeting of the ...
  • lqfarmer
  • lqfarmer
  • 2017年04月23日 12:56
  • 1902

神经机器翻译(Neural Machine Translation)系列教程 - (一)神经机器翻译-开源项目

项目名称 地址 备注 EUREKA-MangoNMT https://github.com/jiajunzhangnlp/EUREKA-MangoNMT 中科院-张家俊 ...
  • shijiandehaizi
  • shijiandehaizi
  • 2017年07月10日 21:31
  • 1256

Google's Neural Machine Translation System

关键词:automated translation 自动翻译 谷歌传统的机器翻译系统:基于词组/短语的(phrase-based) 统计机器翻译 Statistical Machine Transl...
  • robogo
  • robogo
  • 2016年09月28日 22:36
  • 336

三大机器翻译技术的high-level概述:Neural, Rule-Based and Phrase-Based Machine Translation

http://blog.systransoft.com/how-does-neural-machine-translation-work/ In this issue of step-...
  • mmc2015
  • mmc2015
  • 2017年06月17日 14:32
  • 501

论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》总结

NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE论文来源:Bahdanau, D., Cho, K., & B...
  • rxt2012kc
  • rxt2012kc
  • 2017年06月28日 20:53
  • 347

神经网络机器翻译Neural Machine Translation(1): Encoder-Decoder Architecture

端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。本文首先将简要介绍传统的统计机器翻译方法以及神经网络在机器翻...
  • u011414416
  • u011414416
  • 2016年04月03日 09:35
  • 17320

神经机器翻译(Neural Machine Translation)系列教程 - (一)神经机器翻译-开源项目

项目名称 地址 备注 EUREKA-MangoNMT https://github.com/jiajunzhangnlp/EUREKA-MangoNMT 中科院-张家俊 ...
  • shijiandehaizi
  • shijiandehaizi
  • 2017年07月10日 21:31
  • 1256

NOTES of NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

NOTES of NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE (Dzmitry Bahdanau et ...
  • Eric_KEY
  • Eric_KEY
  • 2017年07月28日 21:31
  • 271
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:阅读小结:Google's Neural Machine Translation System
举报原因:
原因补充:

(最多只允许输入30个字)