![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Paper Reading
大琳琳爱吃鱼
这个作者很懒,什么都没留下…
展开
-
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks背景 CNN充分用于图像数据去探索图像的1D结构,本文作者将CNN用于文本数据,探索数据的1D结构(例如词序)。与利用低维数据作为输入不同,作者直接用CNN作用与高维的文本数据。这样做的好处在于可以学习出小的...翻译 2018-08-28 17:29:12 · 586 阅读 · 0 评论 -
Attention Is All You Need
摘要 目前的序列转化模型都是基于编码器-解码器的复杂CNN和RNN。目前最好的模型就是将编码器与解码器利用注意力机制(attention mechanism)连接起来。本文提出一种简单的模型结构,遗弃了CNN和RNN,仅仅使用注意力机制。在两个机器翻译的任务上,本文模型在性能上比现有模型好。1.Introduction RNN,LSTM以及gated RNN在序列模型中已经...翻译 2018-08-31 15:33:45 · 3294 阅读 · 0 评论 -
Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs
方法 本文方法主要有两部分组成。(1)将知识图谱用带权重的文本特征进行拓展,然后利用随机游走生成集合序列输入到skipgram模型,从而生成KB空间。(2)将text转化为KB中的entity可以通过一个multi-sence监督模型(lstm+消歧机制),将每一个text生成一个KB空间的点。 实体向量的文本特征 对于KB空间,我们将根据Perozzi et ...翻译 2018-08-29 16:29:55 · 887 阅读 · 1 评论 -
BERT模型
1、背景语言模型的与训练在自然语言处理的任务中有着重要的作用。1.1 自然语言处理的任务a.句子层面(sentence-level)=>判断句子之间的关系自然语言推理(natural language inference) 自然语言改写(natural language paraphrasing)b.词层面(token-level)命名实体识别(named entit...原创 2018-11-29 18:19:57 · 24263 阅读 · 1 评论 -
Synchronous Bidirectional Inference for Neural Sequence Generation
abstract:目前seq2seq任务大多是从左到右一个词一个词生成的 神经网络的方法,比如LSTM或者self-attention,可以充分利用历史信息,但是不能利用未来信息(future information),从而导致结果的不平衡(左边由于右边) 本文提出一种同步双向推理模型:提出平衡搜索策略,利用同步双向解码 同时交互使用left2right和right2left的双向解码...翻译 2019-06-13 18:55:54 · 578 阅读 · 0 评论