【论文笔记】Effective Approaches to Attention-based Neural Machine Translation

论文链接   本文针对NMT任务使用的attention机制提出两种结构,global attention将attention作用于全部输入序列,local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft attention,其原理和论文1一样,后者是...

2018-05-31 13:49:53

阅读数:283

评论数:1

【论文笔记】SPPnet

论文链接               CNN模型在识别图片前需要将图片预处理(如裁剪,扭曲)成同样大小尺寸,流程如下图所示。这一步骤不仅繁琐而且由于尺寸变化可能会影响识别精度。        事实上卷积层、池化层、激活层可以适应任意尺寸图片,但用于分类的全连接层需要固定尺寸的输入。为了解决这一问题...

2018-05-31 10:55:57

阅读数:70

评论数:0

【论文笔记】neural machine translation by jointly learning to align and translate

1.neural machine translation by jointly learning to align and translate   这篇文章是将attention机制应用于机器翻译上,普通的seq2seq模型要将输入文本的信息编码至固定长度的隐向量中,当面对长文本时会损失许多信息,...

2018-05-30 14:31:24

阅读数:460

评论数:1

【论文笔记】Bag of Tricks for Efficient Text Classification

    这篇文章写的是Facebook推出的FastText,能够快速在海量文本数据上进行分类任务和表示学习,可以用一个普通的多线程CPU在十分钟内训练百万级的语料,一分钟内将五十万文本分类到三十万个类别中。    最近几年深度学习在NLP任务上虽取得了显著地成就,但此类模型无论是训练还是测试阶段...

2018-05-25 10:22:33

阅读数:375

评论数:0

【论文笔记】GloVe: Global Vectors forWord Representation

摘要    词向量的成功捕捉到了细粒度的语义信息和语法规则,本文提出的方法融合了主流模型的优点:全局矩阵分解(LSA)和局部内容窗口(Word2vec),充分利用统计信息使用词共现矩阵中频率非零的元素来训练模型。引言    使用向量空间来表示自然语言可以做为许多NLP任务(文本分类,信息检索......

2018-05-22 21:06:38

阅读数:595

评论数:0

【论文笔记】文本分类(text classification)论文整理

Distributed Representations of Sentences and Documents这篇文章借鉴了word2vec的方法来训练长文本向量,如句子,段落,文档。首先随机初始化文本向量和文本中词的词向量,利用skip-gram和CBOW模型(在文中称为PV_DM和PV_DBOW...

2018-05-04 16:49:23

阅读数:645

评论数:0

【论文笔记】命名实体识别(NER)论文整理

Bidirectional LSTM-CRF Models for Sequence Tagging论文链接:https://arxiv.org/abs/1508.01991这篇文章比较了NLP几个经典任务:词性标注,命名实体识别上的模型,包括CRF,LSTM,Bi-LSTM,LSTM-CRF,B...

2018-05-03 10:23:27

阅读数:823

评论数:0

【论文笔记】Generative Adversarial Networks

论文链接:GenerativeAdversarial Networks        该文提出一种新颖的对抗式生成模型架构,这种框架同时训练两个模型,一个是生成模型G,用来习得数据的真实分布,一个是判别模型D,用来判断一个样本是否是真实样本。G的训练过程就是尽可能地让D犯错误,该网络最后的目标就是...

2018-04-19 16:49:46

阅读数:129

评论数:0

【论文笔记】Reading Wikipedia to Answer Open-Domain Questions

    这篇Reading Wikipedia to AnswerOpen-Domain Questions是关于QA系统的,其工作流程为:    系统读取用户输入的开放领域问题,在Wikipedia上检索该问题的相关文档(documentretrieval),接着使用Machine Compre...

2018-04-14 20:07:15

阅读数:460

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭