- 博客(63)
- 收藏
- 关注
RSS订阅原创 量子计算基础知识—Part1
一个量子系统指的是由量子力学规则描述和控制的物理系统。在量子力学中，物理系统的状态不再是经典物理中的确定性值，而是由一个称为波函数的数学对象描述的概率分布（粒子的状态不是确定的，而是以概率的形式存在。波函数可以用来计算量子系统在不同状态下的概率和测量结果。波函数告诉我们在不同状态下发现粒子的概率，例如它在某个位置的概率或具有某个能量的概率。一个量子系统可以处于多个态的叠加状态，这与经典物理中的叠加不同。量子叠加的概念意味着在观测之前，系统可以同时处于多个可能的状态，并且这些状态之间会发生干涉。
2023-09-22 09:56:51
552
原创 CCG超级标记
合范畴语法（Combinatory Categorial Grammar，CCG）是一种用于自然语言语法分析的语言学理论和计算模型。它是一种形式文法，旨在描述句子的结构和语法规则（通过简练的描述形式表现出句子中各成分的句法语义关系）。
2023-09-20 10:50:41
378
原创 融合领域知识的基于深度学习的光伏发电预测
这篇论文提出了一种基于深度学习的光伏发电预测模型，旨在克服现有机器学习模型仅基于大量数据而不考虑领域知识和物理定律的局限性。该模型称为物理约束 LSTM（PC-LSTM），并在光伏发电预测任务中进行了评估。
2023-09-16 21:58:54
1013
原创 BERT gated multi-window attention network for relation extraction 用于关系抽取的BERT门控多窗口注意力网络
实体关系抽取旨在识别句子中实体对之间的语义关系，是问答系统、语义搜索等后续任务的重要技术支持。现有的关系抽取模型主要依靠神经网络来提取句子的语义信息，忽略了重要短语信息在关系抽取中的关键作用。针对这一问题，提出了一种基于BERT门多窗口注意力网络的关系抽取模型(BERT-GMAN)。该模型首先使用BERT提取句子的语义表示特征及其约束信息。其次，构建关键短语提取网络，获取多粒度短语信息，并采用基于元素的最大汇集算法进行关键短语特征提取。...
2022-08-31 00:33:15
828
2
原创 一种用于联合实体和关系提取的划分过滤网络
在联合实体和关系提取中，现有的工作要么对特定于任务的特征进行顺序编码，导致任务间特征交互不平衡，即后来提取的特征与第一个提取的特征没有直接联系。或者它们以并行的方式编码实体特征和关系特征，这意味着每个任务的特征表征学习在很大程度上是相互独立的，除了输入共享。提出了一种划分过滤网络来对任务间的双向交互进行合理建模，将特征编码分解为划分和过滤两个步骤。在本文的编码器中，本文利用两个门：实体门和关系门，将神经元分割成两个任务分区和一个共享分区。......
2022-08-29 18:48:21
961
原创 句法引导的机器阅读理解
对于机器阅读理解来说，从冗长的细节中有效地对语言知识进行建模和克服噪声的能力是提高机器阅读理解性能的关键。。在这项工作中，本文建议使用句法来引导passage和问题的文本建模，，以获得更好的语言动机单词表征。为了达到这一目的，本文提出了一种新颖的双重上下文结构，称为语法引导网络(SG-Net)，它由一个BERT上下文向量和一个句法引导上下文向量组成，以提供更细粒度的表示。对常用基准测试的大量实验表明，与微调的BERT基准相比，所提出的方法取得了显著的改善。...
2022-08-06 22:16:41
442
原创 用于实体和关系抽取的封装式悬空标记
最近的实体和关系提取工作主要集中在研究如何从预先训练的编码器中获得更好的跨度表示。然而，现有工作的一个主要局限性是它们忽略了跨度(对)之间的相互关系。本文提出了一种新的跨度表示方法，称为填充悬浮标记(PL-Marker)，通过在编码器中策略性地包装token来考虑跨度(对)之间的相互关系。特别是，本文提出了一种面向邻域的布局策略，该策略综合考虑了邻域跨度，以更好地对实体边界信息进行建模。...
2022-08-06 22:05:45
1915
2
原创 面向方面情感分析的双句法感知图注意网络
基于方面的情感分析(ABSA)是一种细粒度的情感分析任务，旨在将方面与相应的情感进行对齐，以进行特定方面的情感极性推理。这是具有挑战性的，因为一个句子可能包含多个方面或复杂的(例如，条件、并列或转折)关系。近年来，利用图神经网络挖掘依存句法信息已成为最流行的趋势。尽管依赖于依赖关系树的方法取得了成功，但(例如，图2中“great”和“dreadful”之间的“conj”关系)，因此。为了缓解这一问题，我们提出了一种双句法感知图注意网络(BiSyn-GAT+)。具体地，BiSyn-GAT+充分利用。...
2022-08-06 17:16:55
596
原创 基于选择性注意的图卷积网络用于方面级情感分类
方面级情感分析的目的是识别句子中某一特定aspect词语的情感极性。最近的方法通过使用依赖树上的GCN来获得aspectterms的语法感知表示，并学习aspect和上下词之间的交互。GCNs通常在两层的情况下获得最佳性能，更深的GCNs不会带来任何额外的收益。然而，在某些情况下，在依存树上的两跳内不能到达方面术语的对应意见词。因此，本文设计了一种新的基于选择性注意的GCN（SA-GCN）来处理方面词和观点次较远的情况。。......
2022-08-01 00:44:23
827
原创 基于新标记方案的实体和关系联合提取
本文提出了一种新的标注方案，可以将联合抽取任务转化为标注问题。然后，基于这种标注方法，作者研究了不同的端到端模型来直接提升实体及其关系，而不需要单独识别实体和关系。
2022-07-31 22:32:49
406
原创 用于命名实体识别的模块化交互网络
Modularized Interaction Network for Named Entity Recognition用于命名实体识别的模块化交互网络Abstract当前的NER存在一定的缺陷：序列标注的NER模型识别长实体时表现不佳，因为序列标注只关注词级信息。边界检测和类型检测可以相互协作，两个子任务之间共享信息可以互相加强。本文提出了一种新的模块化交互网络模型（MIN），该模型能够同时利用segment-level和word-level依赖关系，并加入交互机制来支持边界检测和类型预测之间的共
2022-07-30 18:15:58
314
原创 DCN+：混合目标和深层残差协同注意力用于问答
传统的问答模型使用交叉熵损失进行优化，从而鼓励精确答案，但代价是惩罚附近或重叠的答案。本文提出了一个混合目标，将交叉熵损失与自我批评行策略学习相结合。除了混合目标之外，本文还利用深度残差协同注意编码器改进了动态协同注意网络DCN，该编码器的灵感来自深层自我主义和残差网络方面的最近工作。本文的模型可以改善各种问题类型和输入长度之间的模型性能，特别是对于需要捕获长期依赖关系的长问题。在SQuAD上获得了75.1%的精确匹配准确率和83.1%的F1。...
2022-07-28 15:39:37
649
原创 面向机器理解的多视角上下文匹配
基于SQuAD数据集，作者提出了一个多视角上下文匹配模型，可以直接预测答案在文章（passage）的起始位置和开始位置。首先，模型通过乘以针对问题计算的相关权重来调整passage中的每个词嵌入向量，然后，使用BiLSTM来对问题和加权后的passage进行编码，接着，针对passage中的每个点，模型结合编码后的问题对每个点的上下文进行多个视角的匹配，并产生一个匹配向量。在这些匹配向量上，再使用另一个BiLSTM对信息进行集成，最后预测开始和结束索引。.........
2022-07-27 18:38:50
321
原创 使用match-lstm和答案指针进行机器理解
阅读理解任务发布了一个新的数据集斯坦福问答数据集（SQuAD），该数据集提供了大量真实的问题及其答案，这些问题及其答案是人类通过众包创建的，该答案的长度时可变的。本文基于Match-LSTM和指针网络提出了一个模型用于解决以上问题。......
2022-07-27 15:25:13
229
原创 机器阅读理解的双向注意力流
机器阅读理解MC，即根据上下文段落回答问题，要求对上下文和问题之前的复杂交互进行建模。最近，注意力机制成功应用在MC上，特别是这些模型使用attention对context的部分内容进行专注，并归纳成特定大小的向量。本文引入BiDAF（双线注意力流网络），这是一个多阶段的多层次的处理过程，它以不同的粒度级别分别表示上下文，并使用双向注意力流机制获得query-awarecontext表示。...
2022-07-27 00:53:52
367
原创 Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
现有的语言模型大多是在大量且广泛的文本数据上训练而成的。作者思考有没有必要将模型迁移到特定目标任务领域上。作者在4个领域上的8个分类任务，将已经在大量且广泛文本上预训练过的模型进行第二阶段的预训练，作者分别在领域数据、任务数据、增强的任务数据进行了试验，即用这些数据对模型进行第二阶段的预训练，然后再用经过两个预训练阶段后得到的模型生成的数据做分类任务。试验结果表明，不要停止预训练，对于特定的任务，完全可以用任务相关的数据在对语言模型做第二次预训练，能大大提高模型性能。...
2022-07-26 17:34:52
550
原创 Entity, Relation, and Event Extraction with Contextualized Span Representations
本文提出了一个框架DYGIE++，通过枚举、提炼和评分文本span来完成信息抽取任务，这些文本span旨在捕获局部和全局上下文。通过BERT的语境化嵌入在捕获相同或相邻句子中实体之间的关系方面表现良好，而动态span图更新建模长span的交叉句子关系。通过预测的共指链接传播span表示可以使模型能够消除具有挑战性的实体提及的歧义。...
2022-07-25 19:00:43
500
原创 A general framework for information extraction using dynamic span graphs
本文介绍了一个通用的框架，使用动态构造的span图共享span表示的几个信息抽取任务。图是通过最有信心的实体span并将这些结点与置信度加权的关系类型和共同引用相连接来构造的。
2022-07-25 15:07:26
533
原创 Span-Level Model for Relation Extraction
顺序解码器无法对重叠的实体提及建模，并且存在级联错误。为了解决这个问题，本文提出了一个直接对所有可能的span建模，并执行联合实体提及检测和关系提取模型。
2022-07-24 19:33:37
517
原创 End-to-end Neural Coreference Resolution
本文介绍了一个端到端的共指消解模型，在不使用语法解析器或手工设计的提及检测器下，可以达到不错的效果。其关键思想是将文档中的所有span直接考虑为潜在提及，并了解每种可能的先行语的分布。该模型计算span嵌入，该span嵌入结合了上下文相关的边界表示和发现注意机制。...
2022-07-24 17:03:46
709
原创 A Frustratingly Easy Approach for Joint Entity and Relation Extraction
最近的工作将实体关系抽取任务放到一个结构化的预测框架中，通过联合模型进行多任务学习。然而，本文提出了一种流水线的方法用于实体和关系提取，并且在三个数据集上达到了新的SOTA。由于是流水线方法，本文对两个子任务构造了两个独立的编码器，并且只使用实体模型来构造关系模型的输入。经过大量的试验，表明了关系模型早期融合实体信息和纳入全局上下文的重要性。...
2022-07-24 11:30:51
609
原创 Span-based Joint Entity and Relation Extraction with Transformer Pre-training
本文介绍了一种基于span的联合实体和关系提取的注意力模型。主要贡献是在BERT嵌入上的轻量级推理，能够进行实体识别和过滤，以及使用本地化的，无标记的上下文表示的关系分类。该模型使用强句内负样本进行训练，这些负样本在一次BERT中被有效的提取，这有助于对句子中的所有span进行搜索，在消融试验中，本文证明了预训练、负采样和局部环境的好处。...
2022-07-08 00:35:07
1398
原创 Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy
本文将关系抽取任务转换为两个任务，HE抽取（头实体抽取）和TER抽取（尾实体和关系）前一个子任务是区分所有可能涉及到object关系的头实体，后一个任务是识别每个提取的头实体对应的尾实体和关系，然后基于本文提出的基于span的标记方法将两个子任务进一步分解为多个序列标记任务，采用分层边界标记HBT和多跨度解码算法解决这些问题。本文的第一步不是提取所有实体，而是识别可能参与目标三元组的头实体，从而减轻冗余实体对的影响。...
2022-06-27 15:43:43
422
原创 A Unified MRC Framework for Named Entity Recognition
将NER的序列标注任务看作一项MRC任务，此方法可以引入query先验知识，对于不同类别的重叠实体回答不同的独立问题，可以解决重叠实体问题。
2022-06-27 15:23:44
899
原创 A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
本文提出了关系三元组重叠的问题（一个sentence中有多个三元组，其中三元组中有的实体是同一个）。本文将其建模为级联二级制框架，从原来的f(s,o)→rf(s,o) \rightarrow rf(s,o)→r从实体对找关系的过程，变成fr(s)→of_r(s) \rightarrow ofr(s)→o给定头实体，针对头实体可能的关系，预测尾实体。即头实体不一定是subject，与multi-QA思想相似。给定标记好的句子xjx_jxj，和xjx_jxj中潜在的重叠实体三元组集Tj={(s,r,o
2022-06-27 15:07:19
707
原创 Entity-Relation Extraction as Multi-turn Question Answering
本文提出了一种新的实体关系抽取方法，将RE任务转化为QA任务。主要的优点是：query可以提供想要识别实体、关系的编码信息；QA提供了一种自然的实体和关系联合建模的方式。
2022-06-18 21:30:39
301
原创 Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
本文将联合提取任务转化为标记问题，将其建模为三元组问题，无需分别识别实体和关系。
2022-06-18 21:21:45
369
1
原创 Deep Biaffine Attention for Dependency Parsing
本文在衣蛾简单的基于图的依赖解析器中使用神经注意，并使用biaffine分类器来预测弧和标签。
2022-06-18 21:02:59
614
原创 Learning the Extraction Order of Multiple Relational Facts in a Sentence with Reinforcement Learning
现有的方法中没有考虑到相关事实的提取和整理，多重关系提取任务尝试从句子中提取所有关系事实，本文认为提取顺序在此任务中至关重要，为了考虑提取顺序，文本将强化学习应用到Seq2Seq模型中，所提出的模型可以自由生成关系事实。...
2022-06-18 20:47:19
308
原创 Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism
本文提出一种基于复制机制的seq2seq学习的端到端模型，可以从任何这类的句子中联合提取相关事实，在解码过程中采用两种不同的策略：一个联合解码器和多个分离解码器。
2022-06-18 20:26:25
602
原创 Named Entity Recognition as Dependency Parsing
本文应用依赖关系的思想，通过biaffine模型多句子中的开始token和结束token进行打分，将NER任务建模为一项识别开始和结束索引的任务，并为定义的spans分配类别。
2022-06-18 18:56:19
141
原创 GraphRel：Modeling Text as Relation Graphs for Joint Entity and Relation Extraction GraphRel
本文基于图卷积进行联合实体关系抽取，通过关系加权的GCN来考虑NER和关系之间的作用。
2022-06-18 10:47:43
727
原创 Joint entity recognition and relation extraction as a multi-head selection problem
实体识别和关系抽取比较依赖NLP工具（词性标记POS、依赖关系等），本文提出一种不需要人工或工具提取特征并且能同时进行实体和关系等候区的模型，即使用CRF抽取实体，将关系抽取看做多头选择问题，为每一个实体识别潜在的多种关系（实体重叠）。...
2022-06-17 22:49:14
665
原创 Instance-Based Learning of Span Representations：A Case Study through Named Entity Recognition
本文提出了一个基于实例学习来学习span之间的相似度将NER问题形式化为span分类问题，可以处理嵌套实体该模型的思想非常简单：将一个实体及其训练集的span映射到特征向量空间，然后计算相似度。本文定义邻域span的概率为：P(sj∣si,D)=exp(scor...
2022-06-17 21:06:03
170
原创 End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures
通过在双向序列LSTM-RNNs上叠加双向树形结构来捕获单词序列和依赖树的子结构信息（采用共享参数的方法进行实体关系联合抽取）
2022-06-17 20:47:34
366
原创 Unified Named Entity Recognition as Word-Word Relation Classification
最近，人们对统一NER产生了越来越大的兴趣，用一个单一的模式同时处理flat、nested、不连续三项工作。目前性能最好的方法主要包括基于SPAN的模型和序列到序列模型，但遗憾的是，前者只关注边界识别，而后者可能会受到曝光偏差的影响。本文提出了一种新的替代方案，通过将统一的NER建模为word-word关系分类，即W2NERW^2NERW2NER。...
2022-06-14 13:24:11
875
1
原创 An Attention Free Transformer
引入了无注意变压器(AFT)，这是transformer的一种有效变体，它消除了点积自我关注的需要。在AFT层中，key和value首先与一组学习的位置偏差组合，其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸，使其与大输入和模型大小兼容。...
2022-06-05 18:40:42
1279
原创 MUSE: PARALLEL MULTI-SCALE ATTENTION FOR SEQUENCE TO SEQUENCE LEARNING
在顺序学习中，自我注意机制被证明是非常有效的，并在许多任务中取得了显著的改善。然而，自我注意机制也并非没有缺陷。虽然自我注意可以模拟极长的依赖关系，但深层的注意力往往过于集中在单一的表征上，导致对局部信息的充分利用，并难以表征长序列。在这项工作中，本文探索了序列数据上的并行多尺度表征学习，努力捕捉长程和短程语言结构。为此，本文提出了并行多尺度注意(MUSE)和MUSE-SIMPLE。本文将重点放在机器翻译上，提出的方法在性能上比Transformer有了很大的提高，特别是在长序列上。...
2022-06-05 18:32:06
1294
原创 Selective Attention Based Graph Convolutional Networks for Aspect-Level Sentiment Classification
方面级情感分类的目的是识别句子中某一特定aspect词语的情感极性。最近的方法使用依赖树上的图卷积网络(GCN)来获得aspect terms的语法感知表示，并学习aspect和上下文词之间的交互。GCNS通常在两层的情况下获得最佳性能，更深的GCNS不会带来任何额外的收益。然而，在某些情况下，在依存关系树上的两跳内不能到达方面术语的对应意见词。因此，本文设计了一种新的基于选择性注意的GCN模型(SA-GCN)来处理方面词与观点词相距较远的情况。......
2022-06-05 17:59:59
485
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人