![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读笔记
文章平均质量分 93
StriveQueen
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记(9)——《A Practical Survey on Faster and Lighter Transformers》
1 Abstract2 Introductionrecurrent neural networks (RNNs)long short-term memory (LSTM) networksequence to sequence frameworkinter-attentionrelative effective context length (RECL)Transformer3 TransformerA. EncoderB. DecoderC. Self-AttentionD. Complexity4 G.原创 2021-04-03 19:10:15 · 378 阅读 · 1 评论 -
论文阅读笔记(8)——《Learning Representation Mapping for Relation Detection in KBQA》
Abstract1 Introduction2 Representation Adapter2.1 Motivation2.2 Basic AdapterPseudo Target RepresentationsLinear Mapping2.3 Adversarial Adapter2.4 Reconstruction Loss3 Relation Detection with the AdapterFrameworkAdapting the Relation RepresentationTrainin.原创 2021-01-25 19:27:35 · 867 阅读 · 1 评论 -
论文阅读笔记(7)——《Improved Neural Relation Detection for Knowledge Base Question Answering》
Abstract1 Introduction2 Related WorkRelation ExtractionRelation Detection in KBQA Systems3 Background: Different Granularity in KB Relations(1) Relation Name as a Single Token (relation-level)(2) Relation as Word Sequence (word-level)4 Improved KB Relatio.原创 2021-01-17 17:01:55 · 482 阅读 · 0 评论 -
论文阅读笔记(1)——Recurrent Convolutional Neural Networks for Text Classification(用于文本分类的循环卷积神经网络)
摘要文本分类是许多自然语言处理应用中的一项基本任务。传统的文本分类器通常依赖于许多人为设计的特性,如字典、知识库和特殊的树核。与传统方法相比,引入了一种循环卷积神经网络来进行文本分类,而不需要人为设计特征。在我们的模型中,在学习单词表示时,我们使用递归结构来尽可能捕获上下文信息,与传统的基于窗口的神经网络相比,这样可以引入较少的噪声。我们还使用了一个最大池层,自动判断哪些词在文本分类中扮演关键角色,以捕获文本中的关键组件。我们在四个常用数据集上进行实验,实验结果表明,该方法在多个数据集,特别是文档级数据集原创 2020-07-23 21:09:11 · 2489 阅读 · 0 评论 -
论文阅读笔记(2)——Bidirectional LSTM-CRF Models for Sequence Tagging(用于序列标记的双向LSTM-CRF模型)
命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,任务是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。通常包括两部分:(1)实体边界识别;(2) 确定实体类别(人名、地名、机构名或其他)。英语中的命名实体具有比较明显的形式标志(即实体中的每个词的第一个字母要大写),所以实体边界识别相对容易,任务的重点是确定实体的类别。和英语相比,汉语命名实体识别任务更加复杂,而且相对于实体类别标注子任.原创 2020-08-22 19:07:56 · 1834 阅读 · 0 评论 -
论文阅读笔记(3)——Translating Embeddings for Modeling Multi-relational Data
Abstract我们考虑在低维向量空间中嵌入实体和多维数据关系的问题。目标是提出一种易于训练的规范模型,该模型包含数量减少的参数,并且可以扩展到非常大的数据库。因此提出了TransE,一种通过将关系解释为对实体的低维嵌入进行操作的翻译来建模关系的方法。尽管它很简单,但由于大量实验表明TransE在两个知识库的链接预测中明显优于最新方法,因此这种假设被证明是有效的。此外,它可以在具有1M 实体,25k关系和超过17M 训练样本的大规模数据集上成功进行训练。1 Introduction多重关系数据是指有向原创 2020-08-23 21:00:34 · 908 阅读 · 0 评论 -
论文阅读笔记(4)——《Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph》
基于常识知识图的多跳推理语言生成1 Abstract & Introduction本文是 结合常识知识 的文本生成领域的研究。利用知识图谱的结构和语义信息可促进常识性文本生成。在本文中,作者提出了使用 多跳推理流程(GRF) 进行生成的方法,该方法可以在从外部常识知识图谱中提取的多关系路径上启用带有动态多跳推理的预训练模型。实验结果表明在需要推理常识性知识的三个文本生成任务上:故事结尾生成(Mostafazadeh et al., 2016)、溯因自然语言生成(Bhagavatula et al原创 2020-10-10 14:01:45 · 1586 阅读 · 3 评论 -
论文阅读笔记(5)——《Sequence to Sequence Learning with Neural Networks》
Abstract: DNN可以在有大量标记训练集下表现很好,但是无法处理用于序列映射到序列。在本文中,我们提出了一种端到端的序列训练方法,可以对序列结构做最小的假设。我们的方法使用了多层LSTM将输入序列映射成一个固定维度的向量,然后用另一个深度LSTM从向量中解码出目标序列。原创 2020-10-26 16:34:39 · 479 阅读 · 0 评论 -
论文阅读笔记(6)——《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
论文原文:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding原创 2020-11-08 13:02:08 · 676 阅读 · 0 评论