论文阅读笔记
solejay
这个作者很懒,什么都没留下…
展开
-
《Joint Learning of Named Entity Recognition and Entity Linking》论文笔记
Joint Learning of Named Entity Recognition and Entity Linking2019 ACLAbstract大多数 EL 方法忽视实体识别部分,假定正确的实体已经被识别出来。这篇论文对 NER 和 EL 进行联合学习,来利用他们之间的相关性,得到一个更健壮和更具通用性的系统。实验发现联合学习比单个学习效果更好,并且在 NER 和 EL 任务达到 SOTA。1 IntroductionNER 和 EL 是两个基础的 NLP 任务,NER 负责检测和识别命原创 2020-10-06 10:31:11 · 886 阅读 · 0 评论 -
《Attention is all you need》论文笔记
Abstract一般来说,重要的 sequence transduction 模型都是基于包含 Encoder,Decoder 的复杂的 RNN 和 CNN 的。最好的模型是通过一个 attention 机制来连接 Encoder,Decoder。本文提出一种简单的架构——Transformer,只用注意力机制,和 CNN、RNN 没有关系。在两个翻译任务实验证明该模型又快又好WMT 2014 Englishto-German 翻译任务 BLEU 为 28.4,比当下 SOTA 高 2用 8 个原创 2020-09-09 15:43:03 · 306 阅读 · 0 评论 -
《Neural Machine Translation by Jointly Learning to Align and Translate》阅读笔记
个人总结本文最大贡献是提出了注意力机制,相比于之前 NMT(Neural Machine Translation) 把整个句子压缩成一个固定向量表示的方法,对不同位置的目标单词计算每个输入的不同权重,这样能够更好地捕捉目标词相关的输入信息。ABSTRACT最近的 NMT 模型是 encoder-decoder 架构,编码器将源句子编码为固定长度的向量,解码器根据该向量生成翻译。本文推测原句编码到一个固定长度的向量是一个瓶颈,然后文章提出了改进:在之前模型的基础上自动寻找目标词相关的源句子的部分,而不是原创 2020-08-18 14:39:59 · 324 阅读 · 0 评论 -
《Sequence to Sequence Learning with Neural Networks》阅读笔记
AbstractDNNs 可用于各种复杂的学习任务并取得很好的效果,但是 DNNs 不能用于序列到序列的映射。这篇论文提出了一种端到端(end-to-end)的神经网络模型,来学习这种映射关系。作者用一个多层的 LSTM 网络来将输入序列映射(编码)为一个固定大小维度的向量,再用另外一个多层的 LSTM 网络来解码该向量为输出序列。在 WMT-14 英语 - 法语的翻译任务中取得很好的结果(BLEU 34.8)。 同时,作者发现模型对句子的主动与被动语态并不敏感,但是对输入词的顺序很敏感;逆转输入序列的顺原创 2020-08-10 14:20:50 · 444 阅读 · 0 评论