论文笔记
MirrorN
知来者之可追
展开
-
论文笔记:Recurrent Neural Network Grammars
1.简介“Recurrent Neural Network Grammars” 发表与NAACL 2016,这篇论文中提出了 RNNG 模型,在之后也有很多工作基于此,像URNNG(Unsupervised RNNG)和融合RNNG的NMT等。论文中首先介绍了RNNG的判别模型,然后进行了改动,定义了生成模型,然后又介绍了RNNG作为语言模型的效果。2.定义基础RNNG来源于统计自然语言处...原创 2020-01-06 21:02:10 · 1136 阅读 · 1 评论 -
论文笔记:Tree-LSTM结构的三篇论文总结
对于序列数据而言,从最早的 RNN 结构单元,后来衍生出了 LSTM 以及 GRU 等等变种,这些变种单元的功能更好,并且有效解决了RNN的梯度消失/爆炸问题。对于树结构信息来说也是如此,2015年,三篇论文同时期提出了 Tree-LSTM 的结构,分别是:Compositional Distributional Semantics with Long Short Term Memory(Ph...原创 2020-01-06 17:08:16 · 7839 阅读 · 0 评论 -
论文笔记:Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank 递归神经网络总结
“Recursive Deep Models for Semantic Compositionality Over Sentiment Treebank”这篇论文发表于 EMNLP 2013,主要作者是 Richard Socher,非常响当当的人物,在NLP方向的论文中,经常可以看到这个名字, Socher的在2010-2015年间的很多工作都与递归神经网络有关,Recursive Neura...原创 2020-01-05 23:23:54 · 1133 阅读 · 0 评论 -
论文笔记:Reasoning about Entailment with Neural Attention
写在前面Attention mechanism 作为一种模型效果提升的方法,再很多领域都有应用,这篇论文也算是学习 Attention mechanism的经典论文之一,文中提出了一种 Attention based 的神经网络模型,用于文本蕴含推理,并取得state-of-art 的结果(当时)。文中最主要的模型是建立 word-by-word Attention 模型,与之做对比的还有几...原创 2019-11-03 14:06:04 · 801 阅读 · 0 评论 -
论文笔记:Neural Machine Translation by Jointly Language Learning to Align and Translate
写在前面Attention 机制在许多领域中都有应用,这些模型都被称为 Attention Based Model,而这篇论文则是将注意力机制应用在神经网络机器翻译中,论文的思路很清楚,首先介绍了传统NMT系统的缺陷,然后针对这一缺陷提出改进,最后实验证明,并进行定量以及定性分析。首先我们要了解经典的Seq2Seq模型是如何进行翻译的:整体模型使用了一个 Encoder 和一个 Decoder...原创 2019-11-01 21:22:54 · 317 阅读 · 0 评论 -
论文笔记:word2vec Parameter Learning Explained
论文地址:word2vec Parameter Learning Explained这是一篇讲解word2vec中计算方式以及参数更新方法的论文,之前在一篇介绍word2vec的文章中见到,所以决定还是读一读,Mikolov的两篇论文是很经典,但是对细节的解释很少,所以容易看晕,所以想要学习word2vec的细节计算的读者不妨看看这篇文章。同时...原创 2019-07-12 22:17:19 · 778 阅读 · 0 评论 -
论文笔记:Convolutional Nerual Network for Sentence Classification
Convolutional Nerual Network for Sentence Classification论文链接:Convolutional Neural Network for Sentence Classification文中建立了一个一层卷积层和一层全连接层组成的网络,实现文本分类任务。Introduction在 Introduction 部分中,开始介绍了一些深度深度神经网...原创 2019-09-20 11:19:14 · 216 阅读 · 0 评论 -
论文笔记:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
论文学习:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation这篇论文算是 Seq2Seq(Sequenc to Sequence) 的经典论文了。文中提出了一种新的RNN模型结构用于机器翻译等工作,此外,作为LSTM单元的变种和简化版本 GRU 单元也是在文章中...原创 2019-10-10 21:33:40 · 1484 阅读 · 0 评论