![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理Paper学习笔记
zhan建州
学生
展开
-
Attention Is All You Need学习笔记
Attention Is All You Need学习笔记(一) 引言RNN(如LSTM, GRU)在序列建模和转换问题(如语言建模和机器翻译), 被确认为最先进的方法.RNN模型在计算上是顺序执行的, 时间片 t 的计算依赖 ***t-1***时刻的计算结果, 这种机制阻碍了训练过程的并行化。使用注意力机制,即使当序列在输入和输出的位置上偏离的比较远, 也一样可以对这些序列的依赖关系进...原创 2019-06-20 22:57:25 · 244 阅读 · 0 评论 -
神经机器翻译RNNsearch(论文Neural Machine Translation by Jointly Learning to Align and Translate) 学习笔记
Neural Machine Translation by Jointly Learning to Align and Translate 学习笔记引言传统的基于短语的翻译系统, 是由很多孤立的子成份构成的,而神经机器翻译试图构建一个简单高效的的神经网络,其输入和输出都为句子。 Encoder-Decoder的网络模型首先对源句子进行编码, 得到一个fixed-length的向量, 然后再...原创 2019-06-14 13:00:11 · 2166 阅读 · 0 评论 -
句子建模经典论文A Convolutional Neural Network for Modelling Sentences学习笔记
句子建模: represent the semantic content of sentence.从句子层词对句子进行建模是比较困难的, 一个句子的话, 通常是独一无二Problem: individual sentences are rarely observed.表征学习:词表征:传统的NLP, 把Words当成discrete symbols(localist representa...原创 2019-06-27 23:02:40 · 664 阅读 · 0 评论