![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp论文
文章平均质量分 57
是小李呀~
这个作者很懒,什么都没留下…
展开
-
NLP 中文同义词 反义词 否定词表
https://github.com/guotong1988/chinese_dictionary原创 2021-09-30 01:52:06 · 2609 阅读 · 0 评论 -
【论文泛读】ChineseBERT:融合字形与拼音信息的中文预训练模型
本次分享的论文ChineseBERT来自于ACL 2021会议,论文全名为ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information,即融合字形与拼音信息的中文预训练模型。论文地址:https://aclanthology.org/2021.acl-long.161/代码地址:https://github.com/ShannonAI/ChineseBert目前,预训练语言模型在自然语言处理领域取得了显著地效果。但是原创 2021-09-23 09:12:04 · 1105 阅读 · 7 评论 -
【论文泛读】融合语义角色和自注意力机制的 中文文本蕴含识别
摘 要文本蕴含识别旨在识别两个给定句子之间的逻辑关系. 本文通过构造语义角色和自注意力机制融合模块,把句子的深层语义信息与 Transformer 模型的编码部分相结合,从而增强自注意力机制捕获句子语义的能力. 针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题,使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能. 实验结果表明,提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集 CNLI 上的准确率达到了 80. 28%模型结论本文提出一种融合语义角色和自注意力机制原创 2021-09-13 14:32:23 · 259 阅读 · 0 评论 -
【论文泛读】Enhanced LSTM for Natural Language Inference
论文链接:https://arxiv.org/pdf/1609.06038.pdfAbstractReasoning and inference are central to human and artificial intelligence. Modelinginference in human language is very challenging. With the availability of large annotated data (Bowman et al., 2015), it h原创 2021-08-23 10:28:18 · 138 阅读 · 0 评论 -
[论文泛读]Enhanced LSTM for Natural Language Inference
论文标题:《Enhanced LSTM for Natural Language Inference》论文链接:https://arxiv.org/abs/1609.06038简介今天分享的论文是NLP领域曾一度成为短文本匹配竞赛刷榜利器——ESIM。NLPer应该对这个模型不会陌生。光看论文标题就可以知道,该模型是一种专为自然语言推断而生的加强版LSTM,那么究竟是如何加强呢?接着往下看。先说一下,这个模型(论文中)主要在为了做一件什么事情呢?就是自然语言推断(Natural Language原创 2021-08-23 10:20:59 · 168 阅读 · 0 评论 -
【论文泛读】ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language
论文:ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding2020.10 NAACL 2021 百度本篇论文实验做的很详尽。以下内容主要包括摘要、引言、方法、实验、总结。1、摘要粗粒度的语言信息,如命名实体或短语,有助于在预训练时进行充分的表征学习。以前的工作主要集中在扩展BERT的掩码语言建模(MLM)目标,从屏蔽单个标记到n个连续序列的原创 2021-08-23 10:15:45 · 578 阅读 · 0 评论 -
【论文泛读】注意力机制之ABCNN(做文本匹配、文本相似度)
论文来源:TACL论文链接:ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs之前介绍过短文本匹配的神器 ESIM,今天来介绍另一个文本相似性比较算法,ABCNN,简称 Attention-based CNN。虽然它在实际任务中比 ESIM 差一些(亲测),但是我觉得思路还是有很多地方可以借鉴的。传统的 Attention 一般应用在 RNN 之后(像 Seq2Seq ),这篇文章里面将 Atte原创 2021-08-22 15:21:34 · 740 阅读 · 0 评论 -
文本匹配之ESIM
论文链接;https://arxiv.org/pdf/1609.06038.pdf最近一直在做自然语言推理和文本蕴含的相关工作,为了加深自己对论文的理解,在这里写下论文笔记。上一篇分享的文本蕴含论文bilateral multi-perspective matching (BiMPM)模型,这次分享的论文是Enhanced Sequential Inference Model(ESIM)。如果有错误的地方,请大家及时指正。一、背景介绍文本蕴含或者自然语言推理任务,就是判断后一句话(假设句)能否从前一句原创 2021-08-22 15:12:55 · 302 阅读 · 0 评论 -
【论文泛读】Learning Text Similarity with Siamese Recurrent Networks(孪生网络计算文本相似度)
论文链接:https://aclanthology.org/W16-1617.pdf模型结构:输入层输入特征:对于英文以字母的维度作为输入特征,中文则以字的维度作为输入特征;截断长度:依据数据集样本长度的分布选取合适的截断长度输入向量初始化:可以采用xavier_uniform_initializer来初始化embedding向量, 然后加入网络中训练,xavier_uniform_initializer可以使得每一层的方差都尽可能相等, 使网络中的信息更好地流动;也可以使用word2vec、e原创 2021-08-22 14:45:00 · 511 阅读 · 1 评论 -
【论文泛读】中文文本蕴含类型及语块识别方法研究
摘要文本蕴含识别(RTE)是判断两个句子语义是否具有蕴含关系的任务.近年来英文蕴含识别研究取得了较大发展,但主要是以类型判断为主,在数据中精确定位蕴含语块的研究比较少,蕴含类型识别的解释性较低.从中文文本蕴含识别(CNLI)数据中挑选 12 000 个中文蕴含句对,人工标注引起蕴含现象的语块,结合语块的语言学特征分析归纳了 7 种具体的蕴含类型.在此基础上,将中文蕴含识别任务转化为 7 分类的蕴含类型识别和蕴含语块边界-类型识别任务,在深度学习模型上达到 69.19%和 62.09%的准确率.实验结果表明原创 2021-07-30 19:55:38 · 333 阅读 · 0 评论 -
【论文泛读】融合语义角色和自注意力机制的中文文本蕴含识别
摘要文本蕴含识别旨在识别两个给定句子之间的逻辑关系. 本文通过构造语义角色和自注意力机制融合模块,把句子的深层语义信息与 Transformer 模型的编码部分相结合,从而增强自注意力机制捕获句子语义的能力. 针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题,使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能. 实验结果表明,提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集 CNLI 上的准确率达到了 80. 28% .模型总结本文提出一种融合语义角色和自注意力机原创 2021-07-30 19:45:56 · 182 阅读 · 0 评论 -
【论文泛读】基于扩展的S-LSTM 的文本蕴含识别
摘要文本蕴含识别旨在自动判断给定的前提和假设(通常为2个句子)之间是否存在蕴含关系,是自然语言处理领域一项基础但富有挑战的任务.当前,主流的基于深度学习的模型通常分别建模前提和假设的语义表示,而没有把它们看作一个整体;另外,在捕获它们之间的语义关系时,大都没有同时利用句子级别的全局信息和短语级别的局部信息.最近提出的S-LSTM 能够同时学习句子和短语的语义表示,在文本分类等任务上取得了较好的效果.基于上述情况,提出了一种基于扩展的S-LSTM 的文本蕴含识别模型.一方面,把前提和假设看作一个整体,扩展S原创 2021-07-30 19:43:34 · 861 阅读 · 0 评论 -
【论文泛读】基于混合注意力机制的中文文本蕴含识别方法
摘要将注意力机制应用于中文文本蕴含识别研究,提出了一种基于混合注意力机制的中文文本蕴含识别方法。为使模型能捕获文本间更丰富的语义信息,利用混合注意力机制获取文本词语级别和句子级别的语义信息,将不同级别的语义信息进行融合后对文本蕴含关系进行识别,提高了模型识别中文蕴含关系的准确性。模型的输入阶段采用了 BERT 字向量,提高了模型的泛化能力。该方法在 CCL2018( 第十七届中国计算语言学大会) 中文文本蕴含识别测评任务验证集上准确率达 80. 38% ,实验结果表明了该方法的有效性。模型原创 2021-07-30 19:40:13 · 590 阅读 · 0 评论 -
【论文泛读】基于RCNN的问题相似度计算方法
1 摘要在搜索引擎、问答系统中利用深度学习的方法计算问题相似度是 NLP领域研究的热点。结 合卷积神经网络(CNN)和长短记忆网络(LSTM),提出了递归卷积神经网络(RCNN)问句相似度的计算方法,首先利用双向递归神经网络提取上下文信息,然后采用1D 卷积神经网络将词嵌入信息与上下文信 息进行融合;再利用全局最大池化提取关键信息来完成问句的语义表示;最后通过匹配层判断问句对的相 似度。在 QuoraQuestionPairs数据集上的实验结果表明,该相似度计算方法准确率为83.57%,优于其 他方法。原创 2021-07-30 19:35:52 · 459 阅读 · 0 评论 -
自然语言推理与自然语言解释
原文:e-SNLI: Natural Language Inference withNatural Language Explanations摘要In order for machine learning to garner widespread public adoption, models must be able to provide interpretable and robust explanations for their decisions, as well as learn from原创 2021-05-28 18:29:22 · 418 阅读 · 0 评论 -
通过扩展词汇重叠的文本蕴涵
原文题目及作者Textual Entailment Through Extended Lexical OverlapRod AdamsHuman Language Technology Research InstituteUniversity of Texas at DallasRichardson, Texas摘要本文提出了一个主要基于词汇重叠概念的文本蕴涵系统。该系统从一个单词相似性重叠度量包开始,该度量包从WordNet词汇链的组合中导出,以形成假设中的术语到源文本的映射。然后,它查找映原创 2021-05-28 18:23:16 · 120 阅读 · 0 评论 -
【论文泛读】可变解释生成器:使用可变自动编码器生成自然语言推理的解释
原文题目及作者Variational Explanation Generator: Generating Explanation for Natural Language Inference using V ariational Auto-EncoderZhen Cheng, Xinyu Dai, Shujian Huang, Jiajun Chen摘要——近年来,解释性自然语言推理因其逻辑关系预测的可解释性而备受关注,也被称为自然语言推理的解释生成(NLI)。现有的基于区分性编解码架构的解释生成原创 2021-05-28 18:08:04 · 253 阅读 · 0 评论 -
nlp论文汇总
后面会看一些nlp的论文汇总再这里,先开个贴~~~原创 2021-05-28 15:09:06 · 242 阅读 · 0 评论