勤劳的复读机-CSDN博客

原创论文阅读 Modeling Relational Data with Graph Convolutional Networks

Modeling Relational Data with Graph Convolutional Networks使用图卷积网络建模关系数据发表于 [stat.ML] 26 Oct 2017摘要：知识图支持各种各样的应用，包括回答问题和信息检索。尽管在它们的创建和维护上投入了巨大的努力，即使是最大的(例如Yago、DBPedia或Wikidata)也仍然不完整。我们引入了关系图卷积网络(R-GCNs)，并将其应用于两个标准知识库完成任务:链接预测(恢复缺失事实，即主体-谓词-对象三元组)和实体分类

2021-11-28 17:43:35 793

原创论文阅读 DistMult

EMBEDDINGENTITIES ANDRELATIONS FORLEARNING ANDINFERENCE INKNOWLEDGEBASES在知识库中嵌入学习和推理的实体和关系发表于 conference paper at ICLR 2015摘要：我们使用神经嵌入方法来考虑KBs中实体和关系的学习表示。我们表明，大多数现有模型，包括NTN 和TransE ，可以在统一的学习框架下推广，其中实体是从神经网络学习到的低维向量，关系是双线性和（或）线性映射函数。在此框架下，我们比较了各种嵌入模型对链接

2021-11-27 16:58:31 2549

原创论文阅读 RESCAL

Factorizing YAGO Scalable Machine Learning for Linked Data关联数据的可扩展机器学习分解发表于 WWW 2012 – Session: Creating and Using Links between Data Objects摘要：语义Web的链接开放数据(LOD)云中已经发布了大量的结构化信息，而且它们的规模仍在快速增长。然而，由于LOD的大小、部分数据不一致和固有的噪声，很难通过推理和查询访问这些信息。本文提出了一种高效的LOD数据关系学习方

2021-11-27 16:57:52 3084

原创论文阅读 Regarding neural network parameters as relation embeddings for knowledge graph completion

Regarding neural network parameters as relation embeddings for knowledge graph completion关于神经网络参数作为知识图完成的关系嵌入发表于：The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20)摘要：我们研究知识图中学习实体和关系嵌入的任务，以预测缺失的链接。先前关于链接预测的平移模型利用平移特性但缺乏足够的表达能力，而基于卷积神经

2021-11-26 15:20:03 584

原创论文阅读 CapsE

A Capsule Network-based Embedding Model for Knowledge Graps Completion and Search Personalization基于胶囊网络的知识图完成和搜索个性化嵌入模型发表于：NAACL-HLT 2019, pages 2180–2189摘要：在本文中，我们引入了一个名为CapsE的嵌入模型，探索一个胶囊网络来模拟关系三元组（主题，关系，对象）。我们的CapsE将每个三元组表示为3列矩阵，其中每个列向量表示元素在三元组中的嵌入。然后

2021-11-25 16:11:28 688

原创论文阅读 Knowledge Graph Embedding via Graph Attenuated Attention Networks

Knowledge Graph Embedding via Graph Attenuated Attention Networks基于图衰减注意网络的知识图嵌入发表于 Digital Object Identifier 10.1109/ACCESS.2019.2963367摘要：知识图包含丰富的现实世界的知识，可以为人工智能应用程序提供强有力的支持。知识图的补全已经取得了很大的进展，最先进的模型是基于图卷积神经网络的。这些模型自动提取特征，结合图形模型的特征，生成具有较强表达能力的特征嵌入。但是，这些

2021-11-24 14:54:00 1106

原创论文阅读 ConvKB

A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network基于卷积神经网络的知识库补全嵌入模型发表于：NAACL-HLT 2018摘要：本文提出了一种新的用于知识库完成的嵌入模型——ConvKB。我们的模型ConvKB通过使用卷积神经网络改进了最先进的模型，从而可以捕获实体和知识库中的关系之间的全局关系和过渡特征。在ConvKB中，每个三元组(头实体、关系、尾实体)表示为一个3列

2021-11-23 16:37:40 3159

原创论文阅读 Convolutional 2D Knowledge Graph Embeddings

Convolutional 2D Knowledge Graph Embeddings卷积二维知识图谱嵌入摘要：知识图的链接预测是预测实体之间缺失关系的任务。以往关于链接预测的工作主要集中在浅层、快速的模型上，这些模型可以扩展到大型知识图。然而，与深层、多层模型相比，这些模型学习的功能表达性较差，这可能会限制性能。在这项工作中，我们引入了ConvE，一个用于链路预测的多层卷积网络模型，并报告了几个已建立的数据集的最新结果。我们还表明，该模型具有很高的参数效率，与DistMult和R-GCN相同的性能，但

2021-11-23 16:37:28 1565

原创论文阅读 Learning Knowledge Graph Embedding with Entity Descriptions based on LSTM Networks

Learning Knowledge Graph Embedding with Entity Descriptions based on LSTM Networks基于LSTM网络的实体描述学习知识图嵌入发表于：2020 IEEE | DOI: 10.1109/ISPCE-CN51288.2020.9321857摘要：知识推理和知识预测被广泛应用于对产品安全至关重要的智能故障诊断中。大多数学习型知识图嵌入方法都是通过翻译嵌入模型，只使用知识图的事实三元组来表示实体和关系，而没有在实体描述中集成丰富的语

2021-11-22 14:55:34 687 2

原创论文阅读 Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks

Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks基于异构关系注意网络的学习知识图嵌入发表于：IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 2021摘要：知识图谱（KG）嵌入的目的是研究知识图的嵌入表示，以保持知识图的固有结构。图神经网络(GNNs)作为一种有效的图表示技术，在学习图嵌入方面表现出了令人印象深刻的性能。然而

2021-11-21 15:30:39 1720 4

原创论文阅读 AutoSF: Searching Scoring Functions for Knowledge Graph Embedding

AutoSF: Searching Scoring Functions for Knowledge Graph Embedding AutoSF:知识图嵌入的搜索评分函数发表期刊：2020 IEEE 36th International Conference on Data Engineering (ICDE)摘要：知识图(KG)中三元组的可信度的评分函数(Scoring functions - SFs)已经成为KG嵌入的关键。近年来，人们设计了许多以捕获KGs中不同类型关系为目标的SFs。然而，由于

2021-11-21 13:05:14 668

原创论文阅读 Learning graph attention-aware knowledge graph embedding

Learning graph attention-aware knowledge graph embedding 学习图注意感知知识图嵌入发表于：Neurocomputing 461（2021）摘要：知识图是一种利用图结构来表示多关系数据的知识图，在推理和预测任务中得到了广泛的应用，近年来引起了广泛的研究。然而，现有的研究大多集中在直接直观地学习知识图嵌入，而没有潜移默化地考虑知识的语境。具体地说，最近的模型独立地处理每一个单一的三元组，或者不加区别地考虑上下文，这是片面的，因为每个知识单元(即三元组)

2021-11-20 15:28:40 605

原创论文阅读 Enhancing knowledge graph embedding with relational constraints

Enhancing knowledge graph embedding with relational constraints 利用关系约束增强知识图嵌入发表于：Neurocomputing 429 (2021) 77–88摘要：研究知识图嵌入，将知识图的实体和关系嵌入到连续向量空间中，有利于各种现实应用。在现有的求解方法中，利用几何平移来设计分数函数的平移模型受到了广泛的关注。然而，这些模型主要集中于观察三胞胎是否可信的证据，而忽略了这一关系也暗示了其主体或客体实体的某些语义约束。本文提出了一种基于关

2021-11-19 16:09:31 941

原创论文阅读 Triple Context-Based Knowledge Graph Embedding

Triple Context-Based Knowledge Graph Embedding 基于三重上下文的知识图嵌入发表时间：Received September 10, 2018, accepted October 4, 2018, date of publication October 12, 2018, date of current version October 31, 2018.Digital Object Identifier 10.1 109/ACCESS.2018.2875066

2021-11-18 16:57:00 939

原创在Keras中实现Multi-head-attention

多头注意力机制其实本质上就是将多个注意力结果进行拼接后输出，目前有多种拼接的方法。第一种：拼接后乘以一个可训练矩阵进行维度转换。例如有32维数据，则设置8个head，每个head有32维，则最后拼接结果为32x8=256维，再设置一权值矩阵为W0为（256x32），则最后结果为【1x256】x【256x32】=1x32第二种方法：将每一个头的维度缩小再对每个头的结果直接拼接为最后的输出维度。例如有128维数据，则设置8个head，每个head有16维，则最后拼接结果为16x8=128维。第三种

2021-11-16 19:08:39 4960

原创在Keras中自定义Attention层

具体的公式随处可见，就不展开了讨论了，在build中定义了WQ,WK,WV三个可训练的权值矩阵（batch_size,len,embedding_size），通过对input相乘后将WQ与WK的转置矩阵相乘（（batch_size,len,embedding_size）（batch_size,embedding_size,len）=（batch_size,len,len）），并对该结果进行softmax运算，再对WV进行扩维，扩维至（batch_size,len,len,embedding_size），扩维

2021-11-16 18:47:09 2997 3

原创拟合线性函数的几种方法

A = np.vander(x, 2) #生成范德蒙矩阵（数据，输出列数）C = np.diag(yerr * yerr) ATA = np.dot(A.T, A / (yerr ** 2)[:, None])cov = np.linalg.inv(ATA)w = np.linalg.solve(ATA, np.dot(A.T, y / yerr ** 2))np.diag(array) 中，array是一个1维数组时，结果形成一个以一维数组为对角线元素的矩阵，array是一个二维矩阵时，结果输

2020-12-22 16:16:50 4952 1

qq_41669355的博客