阅读小结:Google's Neural Machine Translation System

标签: 自然语言处理 机器学习 翻译 谷歌翻译 nlp
1299人阅读 评论(0) 收藏 举报
分类:

自然语言处理nlp中很多思想对cv也有用,所以决定看这篇paper。

然后我会从几篇前置的paper看起,搜集的相关资料也附在下面。其中一些短博客看起来比较快。

我也不是很懂nlp,求大家指点~


解释 word2vec: https://arxiv.org/pdf/1411.2738v4.pdf 

video解释hierarchy softmax: https://www.youtube.com/watch?v=B95LTf2rVWM  我搬运到B站http://www.bilibili.com/video/av6475775

讲为什么Char好的文章:http://colinmorris.github.io/blog/1b-words-char-embeddings (有一些聚类的例子)


1. Character-Aware Neural Language Model

arXiv:  http://cn.arxiv.org/pdf/1508.06615.pdf

知乎上别人的综述: https://zhuanlan.zhihu.com/p/21242454

这篇paper的关键都在下面这张Figure 1上。


图上的第一个矩阵的9列  对应  “absurdity”的 9个char,每个char用 charembeding得到的是4维特征。

好,以上这个4*9的矩阵就是这个网络的输入。语言模型的目标是  预测下一个单词。

然后在这个矩阵上 应用 h 个 不同 大小的CNN filter,他们的大小都是 4 * x的。

这样可以得到 h 个 卷积后的heatmap  为  1 *(9-h+1)的向量。

对这个向量再做max,得到一个value。那么,有h个filter,这样就得到了 h个 value,构成了‘absurdity‘的特征。一般长度为[100 ,1000]。

然后经过一次highway network,然后再是LSTM,随后是 hierarchical softmax。

这个模型参数省在少了一个word embeding的矩阵。虽然多了CNN,但filter也有限,参数没多多少。

 

2. Exploring the Limits of Language Modeling

arXiv:  http://arxiv.org/pdf/1602.02410v2.pdf

github: https://github.com/tensorflow/models/tree/master/lm_1b

第一次将上面文章的方法应用在大数据集(one billion word benchmark)上。

做了一些改进。其中3.1这部分不懂啊。。。。是用来分析noise data的?

论文3.2中说了,加一项每个单词的映射,(因为有些单词虽然char级别像,但意思很不同)来fix原来光用charCNN的问题。


3.Google's Neural Machine Translation System

这篇留个坑。估计过个十天半个月再更。

查看评论

Neural Machine Translation(NMT)技术概述

在神经网络语言模型处理NLP领域,我做的研究一直都和文本分类相关,其实还有很多其他的应用领域,比方说:语言翻译、词性标注、命名实体识别等。感觉还是有必要了解一下如何用神经网络语言模型对这些应用进行建模...
  • guoyuhaoaaa
  • guoyuhaoaaa
  • 2017-02-11 16:30:48
  • 847

Neural Machine Translation论文阅读笔记

Massive Exploration of Neural Machine Translation Architectures, Google Brain2017该文章主要做了大量的实验,可做为ove...
  • u014025868
  • u014025868
  • 2017-06-23 12:05:11
  • 2153

神经机器翻译(Neural Machine Translation)系列教程 - (一)神经机器翻译-开源项目

项目名称 地址 备注 EUREKA-MangoNMT https://github.com/jiajunzhangnlp/EUREKA-MangoNMT 中科院-张家俊 ...
  • shijiandehaizi
  • shijiandehaizi
  • 2017-07-10 21:31:38
  • 1945

神经网络机器翻译Neural Machine Translation(2): Attention Mechanism

端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。前篇NMT介绍的基本RNN Encoder-Decoder结...
  • u011414416
  • u011414416
  • 2016-04-04 18:48:13
  • 14454

神经机器翻译(Neural Machine Translation)系列教程 - (六)centos7系列(7.2, 7.3等) + cuda8.0安装

1 下载 选择对应版本的cuda https://developer.nvidia.com/cuda-downloads 2 安装cuda sudo /usr/bin/nvidia-uni...
  • shijiandehaizi
  • shijiandehaizi
  • 2017-09-24 03:56:02
  • 234

神经网络机器翻译Neural Machine Translation(1): Encoder-Decoder Architecture

端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。本文首先将简要介绍传统的统计机器翻译方法以及神经网络在机器翻...
  • u011414416
  • u011414416
  • 2016-04-03 09:35:40
  • 19321

[coursera/SequenceModels/week3]Neural machine translation with attention[assignment]

Neural Machine TranslationWelcome to your first programming assignment for this week!You will build ...
  • weixin_37993251
  • weixin_37993251
  • 2018-02-18 17:31:08
  • 712

Neural+machine+translation+with+attention+-+v3

Neural Machine Translation Welcome to your first programming assignment for this week! You will b...
  • u012657650
  • u012657650
  • 2018-02-15 11:21:05
  • 3041

【论文阅读】Neural Machine Translation By Jointly Learning To Align and Translate

Neural Machine Translation By Jointly Learning To Align and Translate二作与三作 Universite de Montreal ...
  • chengdezhi2011
  • chengdezhi2011
  • 2017-06-13 22:55:19
  • 1772

Google's Neural Machine Translation System

关键词:automated translation 自动翻译 谷歌传统的机器翻译系统:基于词组/短语的(phrase-based) 统计机器翻译 Statistical Machine Transl...
  • robogo
  • robogo
  • 2016-09-28 22:36:43
  • 393
    个人资料
    持之以恒
    等级:
    访问量: 9万+
    积分: 1292
    排名: 3万+
    关于我