基础理论
文章平均质量分 61
J_Xiong0117
一枚终生学习的算法工程师
展开
-
图神经网络(五):GAT
图注意力网络 (GAT),一种新颖的卷积式神经网络原创 2022-09-30 16:45:39 · 7690 阅读 · 0 评论 -
实体对齐(一):MuGNN
面向对齐的 KG 嵌入以进行实体对齐的多通道图神经网络模型 MuGNN原创 2022-09-29 10:24:50 · 2000 阅读 · 3 评论 -
图神经网络(四):GCN
GCN原创 2022-09-13 17:51:29 · 1203 阅读 · 0 评论 -
图神经网络(三):数学基础
图神经网络的数学基础原创 2022-08-30 18:33:37 · 1317 阅读 · 0 评论 -
知识表示学习(五):RotatE
知识表示学习方法RotatE原创 2022-08-24 15:00:03 · 3895 阅读 · 0 评论 -
知识表示学习(七):TransGCN
知识表示方法TransGCN原创 2022-08-23 18:17:29 · 1231 阅读 · 0 评论 -
图神经网络(二):知识点整理
图神经网络知识点梳理原创 2022-08-17 18:24:06 · 1539 阅读 · 2 评论 -
知识表示学习(四):TransD
TransD原创 2022-08-16 18:01:35 · 3045 阅读 · 0 评论 -
知识表示学习(三):TransR
TransR原创 2022-08-15 17:15:16 · 4871 阅读 · 0 评论 -
知识表示学习(二):TransH
TransH原创 2022-08-12 18:06:22 · 1374 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(七)】——P-tuning V2训练代码核心网络层解析
在P-Tuning V2代码中,包括四类NLP任务:token_classification:对应序列标注任务sequence_classification:对应文本分类任务question_answering:对应问答任务multiple_choice:对应阅读理解任务class TaskType(Enum): TOKEN_CLASSIFICATION = 1, SEQUENCE_CLASSIFICATION = 2, QUESTION_ANSWERING = 3,原创 2022-02-21 17:01:55 · 1293 阅读 · 0 评论 -
Python随记:如何在pycham下调试需要指定参数的脚本
以P-Tuning V2的run_rte_roberta.sh为例:export TASK_NAME=superglueexport DATASET_NAME=rteexport CUDA_VISIBLE_DEVICES=3bs=64lr=5e-3dropout=0.1psl=128epoch=200python3 run.py \ --model_name_or_path roberta-large \ --task_name $TASK_NAME \ --dataset原创 2022-02-17 11:12:26 · 985 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(五)】——P-tuning V2
AbstractPrompt tuning仅使用冻结的语言模型调整连续提示,大大减少了训练时每个任务的存储和内存使用,然而,在 NLU 的背景下,先前的工作表明,对于正常大小的预训练模型,prompt tuning效果不佳。我们还发现,现有的prompt tuning方法无法处理硬序列标记任务,这表明缺乏普遍性。我们提出了一个新的经验发现,即适当优化的prompt tuning可以在广泛的模型尺度和 NLU 任务中普遍有效,它在只调整0.1%-3%的参数下可以与fine-tuning性能相匹敌。我们的方法原创 2022-02-11 17:46:36 · 2575 阅读 · 2 评论 -
知识图谱:【知识图谱问答KBQA(三)】——Prompt Learning
一. NLP范式NLP技术的发展可分为4个阶段/范式,如下图:1. 全监督学习(非神经网络)仅在目标任务的输入输出样本数据集上训练特定任务模型,其严重依赖特征工程。2. 全监督学习(神经网络)使得特征学习与模型训练相结合,于是研究重点转向了架构工程,即通过设计一个网络架构(如CNN,RNN,Transformer)能够学习数据特征。3. Pre-train,Fine-tune先在大数据集上预训练,再根据特定任务对模型进行微调,以适应于不同的下游任务。在这种范式下,研究重点转向了目标工程,设计在原创 2022-01-25 16:50:36 · 3104 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(二)】——开源句法分析工具LTP4
文章目录LTP4简介LTP安装载入模型自定义词典LTP应用分句分词词性标注命名实体识别语义角色标注依存句法分析语义依存分析(树)语义依存分析(图)LTP相关字段说明词性标注集命名实体识别标注集语义角色类型依存句法关系语义依存关系LTP4简介LTP(Language Technology Platform)由哈工大开源,提供了一系列中文自然语言处理的工具,用户可以使用这些工具对中文文本进行分词、词性标注、句法分析等。LTP安装pip3 install ltp载入模型from ltp import原创 2022-01-12 18:13:02 · 1320 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(一)】——依存分析简介
句法分析句法分析(syntactic parsing)是自然语言处理中的关键技术之一,它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。对句法结构进行分析,一方面是语言理解的自身需求,句法分析是语言理解的重要一环,另一方面也为其它自然语言处理任务提供支持。语义分析通常以句法分析的输出结果作为输入以便获得更多的指示信息。根据句法结构的表示形式不同,最常见的句法分析任务可以分为以下三种:1.句法结构分析(syntactic structure parsing),又称短语结构分析(phrase s原创 2022-01-12 17:08:42 · 1585 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(十)】——知识图谱的问题与挑战
信息抽取环节开放域信息抽取,主要的问题包括实体抽取、关系抽取以及属性抽取。其中多语种、 开放领域的纯文本信息抽取问题是当前面临的重要挑战。知识融合环节实体消歧和共指消解的研究成果至今距离实际应用相差很大距离,如何在上下文信息受限条件下,如何准确地将从文本中抽取到的实体正确链接到知识库中对应的实体亟待解决。知识加工环节知识加工是知识图谱最具特色的功能,同时也是该领域最大的挑战。突破现有技术和思维方式的同时, 创新知识推理技术。知识更新环节如何确保自动化更新的有效性,是该领域面临的又一重大挑战。原创 2021-12-23 09:52:35 · 561 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(九)】——知识图谱的应用
目前知识图谱技术主要用于智能语义搜索、移动个人助理(如Google Now,Apple Siri等)以及深度问答系统(如IBM Watson,Wolfram Alpha等)。深度问答应用系统首先在知识图谱的帮助下对用户自然语言提出的问题进行语义分析和语法分析,进而将其转化成结构化形式的查询语言,然后在知识图谱中查询答案。对知识图谱的查询通常采用基于图的查询语言(SPARQL)。基于知识图谱的问答系统a)基于信息检索的问答系统先将问题转变为一个基于知识库的结构化查询,从知识库中查询与问题中(抽取的)原创 2021-12-23 09:50:04 · 1427 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(八)】——知识更新
从逻辑上看,知识库的更新包括概念层的更新和数据层的更新。更新的两种方式:数据驱动下的全面更新增量更新原创 2021-12-23 09:47:36 · 2668 阅读 · 1 评论 -
知识图谱:【知识图谱基础理论(七)】——知识加工
通过信息抽取和知识融合得到的事实表达并不等于知识,需经过知识加工最终获得结构化、网络化的知识体系。主要包括:本体构建,知识推理,质量评估。本体构建本体(ontology)是对概念进行建模的规范,是描述客观世界的抽象模型,以形式化方式对概念及其之 间的联系给出明确定义。知识推理从知识库中已有的实体关系数据出发,经过计算机推理,建立实体间的新关联,从而拓展和丰富知识网络。是知识图谱构建的重要手段和关键环节。知识推理方法:a)基于逻辑的推理i)一阶谓词推理ii)描述逻辑iii)基于规则的推理原创 2021-12-23 09:45:17 · 2633 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(六)】——知识融合
通过信息抽取得到的信息中可能存在着冗余和错误信息,数据间的关系扁平化,缺乏层次性和逻辑性。知识融合对这些数据进行清理和整合,确保知识质量。包括:实体链接和知识合并。实体链接指对于从文本中抽取得到的实体对象,将其链接到知识库中对应的正确实体对象的操作:实体链接的一般流程从文本中通过实体抽取得到实体指称项。进行实体消歧和共指消解,判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义。在确认知识库中对应的正确实体对象后,将该实体指称项链接到知识库中对应实体。原创 2021-12-23 09:41:27 · 1522 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(五)】——知识抽取
信息抽取是一种自动化地从半结构化或非结构化数据中抽取实体、关系以及实体属性等结构化信息的技术。关键技术包括:实体抽取、关系抽取和属性抽取:• 实体抽取(命名实体识别NER)○ 指从文本数据集中自动识别出命名实体。• 关系抽取○ 实体抽取得到的是离散的命名实体,还需要从相关语料中提取出实体之间的关系。○ 关系抽取就是解决如何从文本语料中抽取实体间关系。• 属性抽取○ 属性抽取的目标是从不同信息源中采集特定实体的属性信息。由于可以将实体的属性视为实体与属 性值之间的一种名词性关系,因此也可以将属原创 2021-12-23 09:34:18 · 1351 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(四)】——知识图谱的构建技术
原创 2021-12-23 09:31:56 · 495 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(三)】——知识图谱的构建方式
自顶向下从高质量数据中提取本体和模式信息,加入到知识库中。自底向上从公开采集的数据中提取出资源模式,选择其中置信度较高的新模式,加入到知识库中。原创 2021-12-23 09:30:34 · 422 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(二)】——知识图谱的架构
• 知识图谱自身的逻辑结构 ○ 数据层:知识以事实(fact)为单位存储在图数据库。 ○ 模式层:模式层在数据层之上,是知识图谱的核心。存储提炼过的知识,采用本体库进行模式层管理。• 知识图谱所采用的技术(体系)架构 ○ 知识图谱的构建过程是从原始数据出发,采用一系列自动或半自动的技术手段,从原始数据中提取出知识要素(即事 实),并将其存入知识库的数据层和模式层的过程。 ○ 知识图谱构建是一个迭代更新的过程,根据知识获取的逻辑,每一轮迭代包含3个阶段: § 信息抽取 § 知识融合原创 2021-12-23 09:27:54 · 1818 阅读 · 0 评论 -
知识图谱:【知识图谱基础理论(一)】——知识图谱的定义
知识图谱:是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系。其基本组成单位是【实体——关系——实体】三元组,以及实体及其相关属性键值对,实体间通过关系互联,构成网状的知识结构。知识图谱本身是一个具有属性的实体通过关系链接而成的网状知识库。从图的角度来看,图中节点表示实体(概念),节点之间的边表示实体与实体之间的关系。...原创 2021-12-23 09:24:01 · 1435 阅读 · 0 评论