- 博客(20)
- 收藏
- 关注
RSS订阅原创 对话生成方法中的“共鸣”
今天推荐的是一篇对话生成方向的论文（Empathetic Dialogue Generation via Sensitive Emotion Recognition and Sensible Knowledge Selection），论文将对话过程中用户的情感变化考虑进去，从而可以给用户一种“共鸣”的感觉，针对其不同的情感回复更加贴合其情绪的文本，构造更加人性化的对话系统。感觉是一个不错的出发点，非常贴合实际场景，论文的代码逻辑性也是非常强，喜欢这篇论文的话推荐阅读源码
2022-11-20 17:49:06
625
1
原创 天马杯-NLP赛道（科技新闻分类与摘要）赛后总结
一、赛题任务 本赛题的数据分为五个领域的金融科技新闻，选取其中三个领域的正负样本作为训练集，另外两个领域一个作为A榜评测数据，一个作为B榜评测数据。其中数据中分类标签1只有454条（总共样本为45440条），摘要占分30%，分类占分70%。四个领域的说明如下（没有B榜的领域标签）：1、JG监管趋势与宏观政策最新的政府、央行、监管趋势，政府宏观政策，监管领导的观点（银监、人行等）。（1）重点关注央行、银保监会出台的涉及金融科技方面的政策，也可关注科技部、工信部出...
2021-12-26 19:59:36
1421
原创 Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
【摘要】 用特定任务prompt，在基于预训练语言模型在上进行微调在文本分类任务上已经显示效果很好。特别，最近的研究发现在小样本场景上的效果尤为突出。Prompt turning的核心是插入文本片段，也叫作template。将原来的分类问题转化为掩码语言模型问题。其中一个关键的步骤是在标签集合和标签词之间做一个映射，或者叫做verbalizer。一个verbalizer经常是手工设计或者基于梯度下降法搜索，这些方法可能不容易收敛，并且会给结果带来大的偏差和高的方差。在本文中，我们把外部知识引入...
2021-12-21 16:53:34
1267
原创 基于prompt的关系抽取方法
一、《AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction 》【摘要】本文，我们将关系抽取任务作为掩码语言模型建模，并提出一个新的自适应基于prompt的微调方法，我们提出一个自适应标签词选择机制，其可以把关系标签分散到可变数量的标签token中，以处理复杂的多标签空间。我们进一步提出一个辅助实体辨别器，以增强模型对上下文信息的学习。【引言】最近，基于自监督的预训练语言模型，例如BERT，其可以学习丰.
2021-12-19 11:28:51
3589
1
原创 图神经网络相关论文
一、《BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification 》这是一篇图神经网络用于方面级情感分类的文章，其中对GCN的结合比较新奇。1、基于图的方面级情感分类已经证明有很好的效果，特别是在使用预训练模型的情况下。然而，他们忽略了序列特征，并没有充分利用预训练模型。本文提出BERT4GCN，它结合预训练模型中的语法序列特征，和依存图中的句法知识。它使用BE
2021-11-14 09:44:08
972
原创 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process
摘要这篇文章是对最近比较火的“prompt”的一个总结，一篇非常好的综述，做NLP方向建议都要读一读：）本文将这种方法称之为“prompt-based learning”，之前传统的监督学习方法，是对给定的x训练一个模型，然后预测对应的y。prompt-based learning是基于语言模型直接对文本的概率进行建模。具体为：起初的输入x中加入一个模板（template），其中含有一些需要预测的位置slots，语言模型用于预测slots中应该出现的词的概率。这样最终需要的y也可以直接得出。这种
2021-11-11 14:09:44
4724
1
原创 阅读理解论文笔记01
一、《Uncertainty-based adaptive learning for reading comprehension 》1、标注数据费时费力，并且有时因为其他特殊原因也不能标注，因此本文提出了一种基于不确定性的阅读理解自适应学习算法，该算法将数据注释和模型更新组织在一起，以减轻标记的需求。本文包括两个关键技术：一种基于无监督不确定性的抽样方案，它根据当前学习的模型查询信息量最大的实例的标签；一种自适应损失最小化范式，可同时拟合数据并控制模型更新的程度。 2、本文的策略像active le
2021-10-06 16:13:40
219
原创 一步步实现Graph Attention Networks
1、主要是graph attentional layer的构建过程，输入是节点的特征表示输出是新的节点表示：2、为了获得足够的表达能力，需要把输入特征转化为高级别的特征，至少需要一个线性转换层，使用权重矩阵W，执行自注意力，相当于两个节点之间的权重信息，在之前的工作中，模型允许每个节点都和剩余其他节点有关系，这样就忽略了图的结构信息，因此在本文中，每个节点只和其一阶邻居节点计算权重。注：这里计算权重的过程可以自行决定，有的论文（Document Modeling with Gra..
2021-10-06 16:08:23
219
原创 预训练模型论文笔记02
一、《GPT: Improving Language Understanding by Generative Pre-Training 》1、尽管大型未标记文本语料库很丰富，但用于学习这些特定任务的标记数据很少，这使得模型很难得到充分的训练。本文证明通过在大量无标注不同的语料中进行generative pre-training，然后在每个特定任务上进行discriminative fine-tuning可以很大的提升在各个任务上的结果。和之前的方法相比，在微调阶段，本文充分利用基于任务的输入变换，对模型
2021-10-06 15:59:02
136
原创 预训练模型论文笔记01
一、《Pre-trained Models for Natural Language Processing: A Survey 》1、第一种预训练模型是为了学习更好的word embedding，例如skip-gram、glove。他们不需要下游任务，也就不需要太大的计算量。尽管可以得到语义信息，但是它们与上下文无关，无法在上下文中捕获更高级别的概念，例如多义词消歧、句法结构、语义角色、回指。2、第二种预训练模型为了学习上下文word embedding，例如 cove、elmo、openAI GP
2021-10-06 15:56:17
304
原创 关系抽取论文笔记【研一下&研二上】02
一、《PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction》1、本文把实体关系抽取分为三部：关系识别，识别实体，实体对和关系配对。以前的方法多任务方法CasRel，将关系三元组提取分为两个阶段，把object实体对应所有关系。这种方法包含很多不合法的操作，基于span的抽取策略只关注实体的起始和结束位置，扩展性不好。由于其subject-object对齐机制，一次只能处理一个
2021-10-06 15:43:09
1426
1
原创 关系抽取论文笔记【研一下&研二上】01
一、《GDPNet: Refining Latent Multi-View Graph for Relation Extraction 》1、构建了一个潜在多视图去捕获token之间各种可能的关系，然后进一步改善这个图去选择对关系抽取重要的词。最终改善的图和基于bert的输出进行拼接做最后的关系抽取。（GDPNet）2、首先把所有实体作为节点，它们的表示是由bert的输出得到的。然后用graph pooling operations 改善图，以得到关系抽取中的indicative words。节点之
2021-09-22 08:47:50
1264
原创 NLP领域论文笔记【研一下&研二上】01
一、《Heterogeneous Graph Neural Networks for Extractive Document Summarization》1、除句子外，还包含不同粒度级别的语义节点，这些另外的节点可以作为句子间的媒介，以加强句子间的关系。文件摘要是提取原始文档中的句子，把它作为摘要。模型的关键部分就是为交叉句子关系建模，本文不仅把句子作为节点，还引入了更多语义单元作为节点，这些节点作为连接句子的媒介，这些节点都可以看做句子间的特殊的关系，在信息传递的过程中，所有节点都会更新。2、在本
2021-09-21 17:02:48
489
原创 关系抽取论文笔记【研一上】05
一、《Relation Classification Using Segment-Level Attention-based CNN and Dependency-based RNN》1、结合片段级的基于attention的CNN（SACNNs可以捕获每个词的重要性）和基于依赖的RNN（DepRNNs可以捕获长距离信息，使用的是两个实体之间的最短路径）2、输入的embedding包括（1）实体信息：在每一句话中加入实体标记<e1S>, <e1E>, <e2S>
2021-09-21 16:54:57
220
原创 NLP领域论文笔记【研一上】01
一、《Encoding Sentences with Graph Convolutional Networksfor Semantic Role Labeling》 语义角色标注Semantic role labeling (SRL)：以句子的谓词为中心，不对句子所包含的语义信息进行深入分析，只分析句子中各成分与谓词之间的关系，即句子的谓词（Predicate）- 论元（Argument）结构，并用语义角色来描述这些结构关系, 核心的语义角色: A0-5 六种，A0 通常表示动作的施...
2021-09-21 16:53:07
468
原创 关系抽取论文笔记【研一上】04
一、《TransS-Driven Joint Learning Architecture for Implicit Discourse Relation Recognition》【内隐话语关系识别的跨驱动联合学习架构】1、用到了多层encoder（1）把Discourse关系转化为低维向量表示，这样可以挖掘关系参数实例的潜在的几何结构信息（2）探索参数的语义特征以帮助理解Discourse（3）把（1）和（2）同时学习，相互提升2、模型包括四部分：embedding层、多层encod
2021-09-21 16:48:39
398
原创 关系抽取论文笔记【研一上】03
一、《A Joint Neural Model for Information Extraction with Global Features》1、为了捕获交叉子任务（实体、关系、事件任务）和交叉实例的相互依存，从一个句子中提取全局最优IE结果，并把它作为一个图2、三个子任务：（1）把句子转化为语境化的向量表示（使用倒数第三层的BERT输出，而不是最后的）【编码】，得到xi（2）识别出实体和事件触发器作为节点，关系和event-argument链接作为边【识别】，上面的xi进入一个全连接层，
2021-09-21 16:44:13
394
原创 关系抽取论文笔记【研一上】02
一、《Distilling Knowledge from Well-Informed Soft Labels for Neural Relation Extraction》1、采用软标签的形式2、（1）从整个语料库获得类型限制条件进而得到soft rules（2）teacher网络结合soft rules进而针对每个实例得到比较好的软标签3、两个实体的类型组成一个pattern，首先计算patterns和关系的共现次数，并且归一化数据，每个pattern在所有关系上都会有一个分布，pattern
2021-09-21 16:38:48
415
原创 关系抽取论文笔记【研一上】01
一、《Graph Convolution over Pruned Dependency Trees Improves Relation Extraction》基于依存树的GCN，将单词保留在两个实体的最短路径上，原先基于依存树最短路构造的模型，可能会缺失掉重要信息。1、把依存树编码为GCN的输入，得到以实体为中心表示做最后的分类2、把依存树以最大化相关信息为目标去移除不相关的信息3、如果依存树上两个节点有边，那么其邻接矩阵中对应的值就为14、节点通过其不大于L个边的邻居的影响，形成向量表
2021-09-21 16:24:00
506
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人