- 博客(4)
- 收藏
- 关注
RSS订阅原创 Effective Approaches to Attention-based Neural Machine Translation
引言Minh-Thang Luong等在2015年arXiv上的论文，原文地址：地址这是继Bahdanau提出attention用于NLP的后续工作，作者提出了两种新的，相对于前面工作简单但有效的网络，一种称为global方法，实现上与Bahdanau使用的方式很相似，在每一次生成目标词时，都需要所有对源语句隐藏状态计算相似度，但相对来说更为直接简单；另一种称为local方法，不同的是在计算时...
2018-12-28 10:45:54
3907
原创 Neural Machine Translation by Jointly Learning to Align and Translate
引言Dzmitry Bahdanau等人在2016年arXiv上的paper，原文地址arXiv:1409.0473v7 [cs.CL] 19 May 2016这篇应该是最早将Attention机制用到NLP中的论文，作者提到神经网络机器翻译的目标是训练一个单一庞大的网络去直接生成翻译结果，相比统计机器翻译由各个小组件进行结合有很大不同。而一般的神经网络机器翻译模型都是由一个encoder与...
2018-12-19 17:33:04
687
原创 A Convolutional Neural Network for Modelling Sentences
引言Nal Kalchbrenner等人在2014年arXiv上的paper，原文地址：arXiv:1404.2188v1 [cs.CL] 8 Apr 2014。自然语言处理的基础问题在于句子的语义表示，其他特定的任务如分类等都是在语义表示的基础上进行高层次的处理，所以如何对句子进行表达就成为了核心问题。针对目前存在的模型，作者提出了DCNN–Dynamic Convolutional Ne...
2018-12-11 23:53:30
2545
原创 Recurrent Neural Network for Text Classification with Multi-Task Learning
引言Pengfei Liu等人在2016年的IJCAI上发表的论文，论文提到已存在的网络都是针对单一任务进行训练，但是这种模型都存在问题，即缺少标注数据，当然这是任何机器学习任务都面临的问题。为了应对数据量少，常用的方法是使用一个无监督的预训练模型，比如词向量，实验中也取得了不错的效果，但这样的方法都是间接改善网络效果。作者提出了一种新的方法，将多个任务联合起来训练，用来直接对网络进行改善，...
2018-12-05 17:34:04
3994
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人