qq_42388742的博客

文章目录1. Linear 层2. DotProductAttention层3. SingleLayerAttention层4. MultiHeadAttention层5. BiAttention层在写实验的时候遇到一个库， 里面有实现的几种attention机制， 这里总结一下， 方便以后来找。1. Linear 层先来一个线性层， 一般在论文中W等权重矩阵一般由全连接层实现。class Linear(nn.Module): ''' Simple Linear layer with xav

面向事实检验的语义层次图推理0. Abstract事实核查是一项具有挑战性的任务，因为核实声明的真实性需要对多个可检索的证据进行推理。在这项工作中，我们提出了一种适用于推理证据语义层次结构的方法。与大多数以往的工作不同，这些工作通常使用字符串连接或融合孤立证据语句的特征来表示证据语句，我们的方法基于语义角色标注获得的丰富的证据语义结构。我们提出了两种机制来利用证据的结构，同时利用像BERT、GPT或XLNet这样的预先训练好的模型的进步。具体来说，使用XLNet作为主干，我们首先利用图结构来重新定义单词

基于图的证据聚集和推理用于事实验证Abstract之前工作知识信息提取，并没有证据通信，仅仅进行拼接处理。因此，这些方法无法掌握证据之间足够的关系和逻辑信息。提出一个a graph-based evidence aggregating and reasoning (GEAR) 基于图的证据聚集和推理。这使得信息能够在完全连接的证据图上传输，然后利用不同的聚合器来收集多证据信息。在FEVER分数67.10% 代码：https://githubcom/thunlp/GEARIntroduction因此

知识图谱上复杂问题回答的消息传递这篇文章还是没怎么看懂，看到很多NLP的基础不是很理解，这篇论文在实验部分写的感觉还是很精彩的原作者的github: https://github.com/svakulenk0/KBQA0 Abstract知识图谱问答(KBQA)已经从简单的单事实问题发展到需要图遍历和聚合的复杂问题。提出一种无监督解析输入问题并将知识图中的术语与一组可能的答案相匹配来传播置信度得分。提取实体、关系和类名，并将它们映射到图中的对应项。然后，这些映射的置信度得分通过图结构传播，以

基于门控图神经网络的知识库问答语义建模18年,对知识库问题的建模方法，放弃，没看完0. Abstract大多数知识库问答方法都是基于语义分析的。在本文中，我们解决了由多个实体和关系组成的复杂语义解析的学习向量表示问题。以前的工作主要集中在为一个问题选择正确的语义关系，而忽略了语义分析的结构:**实体之间的联系和关系的方向。**我们建议使用门控图神经网络（Gated Graph Neural Networks）来编码语义解析的图结构。我们在两个数据集上显示，图形网络优于所有没有明确建模结构的基线模型。错

DGL库很友好出了汉语教程地址就在这个地方，这里基本从那边粘贴过来，算作个人笔记。第一章 图DGL的核心数据结构DGLGraph提供了一个以图为中心的编程抽象。 DGLGraph提供了接口以处理图的结构、节点/边 的特征，以及使用这些组件可以执行的计算。1.1 图的基本概念了解基本概念，图、图的表示、加权图与未加权图、同构与异构图、多重图1.2 图、节点和边DGL用唯一整数表示节点，即点ID;对应的两个端点ID表示一条边。根据添加顺序每条边有边ID。DGL中边是有方向的，即边（u,v）（u,v）

DialogueGCN: 一种用于会话情感识别的图形卷积神经网络DialogueGCN: A Graph Convolutional Neural Network forEmotion Recognition in Conversation语言环境建模的重要性，序列模型现有缺点是还是遗忘问题，从图的方面，改进了序列模型的缺点0. Abstract对话情感识别（Emotion recognition in conversation (ERC)）。本文提出对话图卷积网络，一种基于图神经网络的ERC方法

基于异构图推理的多文档多跳阅读理解Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs（没找到代码）0. Abstract引入了一个具有不同类型节点和边的异构图，称为异构文档实体图（Heterogeneous Document-Entity，HDE）。HDE图的优势在于它包含不同粒度级别的信息，包括特定文档上下文中的候选、文档和实体。我们提出的模型可以在节点表示

基于核图注意力网络的细粒度事实验证0. Abstract事实验证需要细粒度的自然语言推理能力，这种能力可以找到敏感的线索来识别语法和语义正确但没有很好支持的声明。提出了核图注意力网络( Kernel Graph Attention Network，KGAT )，该网络通过基于核注意力进行更细粒度的事实验证。给定一个声明和一组形成证据图的潜在证据语句（给一组句子形成证据图），KGAT为了更好测量证据节点重要性引入节点核，为了在图上执行细粒度证据传播，引入边缘核，以此进行更准确的事实验证。KGAT获得了70

用于多跳推理的动态融合图网络0. Abstract提出了一个Dynamically Fused Graph Network (动态融合图网络，DFGN)。受到人类循序渐进的推理行为的启发，DFGN包括一个动态融合层，它从给定查询中提到的实体开始，沿着从文本动态构建的实体图进行探索，并从给定文档中逐渐找到相关的支持实体。SOTA，此外，我们的分析表明，DFGN可以产生可解释的推理链。1. Introductionmulti-hop QA，给出一个查询，一系列文档，单并不是全部相关。答案需要从多个文档选

多跳阅读理解的认知图Abstract提出web-scale文档的多条QA框架—CogQA。该框架基于认知科学(cognitive science)中的双重过程理论，通过协调隐式提取模块(系统1)和显式推理模块(系统2)，在迭代过程中逐步构建认知图。在给出准确答案的同时，我们的框架进一步提供了可解释的推理路径.提供了基于BERT和GNN的高效处理百万文档的HotpotQA fullwiki数据集中的多跳推理问题。F1值34.9，当时最优。引言MRC现存问题1） 推理问题，单段落倾向于匹配而非复杂推

用于多跳推理问答的双向注意实体图卷积网络-codeAbstract多跳问答要理解文档与查询之间的关系。本文BAG，用实体图节点之间关系和查询实体图的关系的注意力信息解决。图卷积网络用于获得实体图的节点的关系感知表示，该实体图是从具有多级特征的文档构建的。然后将双向注意力应用于图形和查询，以生成一个查询感知节点表示，用于最终预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了一流的精度性能。1，引言讲了传统和缺陷，DrQA TriviaQA NarrativeQA 对SQuAD的

基于图卷积网络的跨文档推理问答基于图卷积网络的跨文档推理问答文章目录基于图卷积网络的跨文档推理问答摘要前言介绍方法2.1 数据集和任务抽象2.2 实体图上的推理2.3 节点注释实体关系图卷积网络(Entity Relational Graph Convolutional Network)实验总结摘要针对原来模型集中单文档单段落，作者提出一种基于图上的跨越多段落的文档推理。图上的实体是节点，边被编码成不同实体的关系（例如：文档内和文档边的引用）GCN应用于图并进行多步训练前言提示：这里可以添加

Gensim = “Generate Similar”Gensim是一个免费的开放源代码Python库，用于尽可能高效（计算机地）和轻松地（人为地）将文档表示为语义向量。介绍几个核心概念，算是大致了解，后面需要什么可以查文档就可以了。原文地址：https://radimrehurek.com/gensim/auto_examples/index.html核心概念这篇教程介绍了文档、语料库、向量和模型：了解和使用基本概念和术语gensim的核心概念：core_concepts_document:

Fine-tuning一个语言模型原文地址我找不到了。。。。还是transformer上面的一个教程文章目录Fine-tuning一个语言模型准备数据因果语言模型（CLM）掩码语言模型(MLM)总结在???? Transformers 上微调一个语言模型任务，有两种类型的语言模型任务Causal language modeling(因果语言模型)：这个语言模型会预测在这句话的下一个单词（标签与向右移动的输入相同）。为了防止模型作弊，在预测第i+1个单词时，会mask第i个后面的单词。[外链图

文章目录前言1. 下载数据集2.训练一个分词器(tokenizer)3. 从零开始训练语言模型定义这个模型的配置文件建立训练数据集检查LM是否受过训练总结huggingface教程，原文博客地址，cloab地址前言在过去的几个月，我们对transformers库和 tokenizers库进行了一些改进，目标是使得从头开始训练新的语言模型变得容易。在这个demo里，展示了怎么在Esperanto训练一个"small"模型((84 M parameters = 6 layers, 768 hidden

pytorch重写DataLoader加载本地数据前两天学习了HuggingFace Datasets来写一个数据加载脚本，但是，在实验中发现，使用dataloader加载数据的便捷性，这两天查资料勉强重写DataLoader加载本地数据，在这里记录下，如果有错误，可以指正。文章目录pytorch重写DataLoader加载本地数据前言一、Dataset class二、使用步骤1.重写Dataset2.Dataloader加载总结前言在pytorch官网搜索Dataloader，返回的一篇教程是

HuggingFace Datasets上传本地文件作为训练数据这两天用自己的数据来做训练，看到datasets库中的教程，进行翻译，记下如何使用本地/私有数据集。文章目录HuggingFace Datasets上传本地文件作为训练数据前言编写数据集加载脚本（Writing a dataset loading script）添加数据集元数据（Adding dataset metadata）下载数据文件并组织拆分(Downloading data files and organizing splits)在

Transformers库Question Answering任务样例transformer库问答任务的样例，可以直接在colab运行，我这些做学习笔记来大致翻译一下。可以在这里找到Hugging Face提供的各种样例。这里是colab的地址，需要翻。文章目录Transformers库Question Answering任务样例前言一、在QA任务中的BERT微调加载数据集数据预处理长文本处理二、使用步骤1.引入库2.读入数据总结前言这是我自己的学习笔记，我也是刚开始学习，会有不少错误，谨慎参

https://www.bilibili.com/video/BV1K5411t7MD?p=5https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos深入BERT实战(PyTorch) by ChrisMcCormickAI这是ChrisMcCormickAI在油管BERT的Question Answering with a Fine-Tuned BERT的讲解的代码，在油管视频下有cloab地址，如果不能翻墙的可以留下邮箱我全部.

深入Bert实战(Pytorch)----fine-Tuning 2https://www.bilibili.com/video/BV1K5411t7MD?p=5https文章目录深入Bert实战(Pytorch)----fine-Tuning 2前言4. Train Our Classification Model4.1. BertForSequenceClassification4.2. Optimizer & Learning Rate Scheduler4.3. 循环训练5. 在测试集

深入Bert实战(Pytorch)----fine-Tuning 1https://www.bilibili.com/video/BV1K5411t7MD?p=5https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos深入BERT实战(PyTorch) by ChrisMcCormickAI这是ChrisMcCormickAI在油管bert，8集系列第三篇fine-Tuning的pytorch的讲解的代码，在油管视频下有cloa

@[TOC](深入Bert实战(Pytorch)----WordPiece Embeddings)https://www.bilibili.com/video/BV1K5411t7MD?p=5https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos深入BERT实战(PyTorch) by ChrisMcCormickAI这是ChrisMcCormickAI在油管bert，8集系列第二篇WordPiece Embeddings的p

QANet模型系列（1）学习机器阅读理解模型的时候，在GitHub上见到了一系列很好的NLP教程，大佬的博客地址在这里，有时间我会对这些文章进行翻译(已经申请，但是还没有回复)，对代码进行注释，当我本身也是自然语言处理方面的初学者，难免有很多错误，如果有朋友能够帮我指出，将非常感谢 !这里将解释QANet模型的部分知识，SQuAD数据处理可我之前翻译的文章。文章目录QANet模型系列（1）前言一、Depthwise Separable ConvolutionsDepthwise convolutio

SQuAD 数据预处理 (3）提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用文章目录SQuAD 数据预处理 (3）前言一、转存数据转存数据到pickle files从pickle文件中阅读数据二、创建dataloaderdataloader代码查看各种张量的形状三、加载glove与权重矩阵总结前言1. 这里将模型数据保存到pickle文件中，方便下次调用。2. 创建dataloader类，返回模型训练期间所需要

QANet-pytorch数据处理文章目录QANet-pytorch数据处理前言一、NLP Preprocessing Pipeline for QA二、使用步骤1.引入库2.读入数据3.解析数据4.删除过长的文档5.创建词表6.确保标签正确总结前言今天开始学习QANet，下午看了数据处理部分，翻译和看了github的注释和代码，在这里记录下来机器翻译+纠正，一定有很多错误的，想要下载这个教程的可以点这个GitHubhttps://github.com/kushalj001/pytorch-

SQuAD 数据预处理（2）下面是SQuAD 数据预处理的一个应用实例，使用这个示例来理解proprecess.py这个文件中定义的函数文章目录SQuAD 数据预处理（2）前言一、数据处理数据加载与解析建立词表建立一个word和character-level的词汇表清除错误总结前言一个数据处理的步骤一、数据处理数据加载与解析# load dataset json filestrain_data = load_json('data/squad_train.json')valid_da

spaCy学习记录Language Processing PipelinesspaCy学习记录前言一、spaCy是什么？二、Processing Text1.概念介绍2.Processing text总结前言例如：今天在学习用到了spaCy库，以前也经常遇到这个库，但是没有系统记下问题，以后用这个文章系列当作笔记，省的以后遇到相同问题还要再去查。一、spaCy是什么？示例：spaCy是一个号称工业级的自然语言处理工具包,详细介绍可以在这里查看link ,这里先记下处理文本的第一部分，以后