因为对知识图谱理解不够清晰,导致在学习知识图谱和大模型融合时遇到苦难,文章看不懂。
具体是在理解文章:《Unifying Structure Reasoning and Language Pre-training for Complex Reasoning Tasks》时所用的知识图谱查询技术不了解。因此写了这篇总结,记录学习过程。
1. 论文解读
文章主要提到了关于构建知识图谱的其他两片文章,这两篇文章有相关的解读:
《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记_知识图谱多跳推理beta e-CSDN博客
但文章涉及的知识点较多,很难理解。
2. 对于知识图谱的初步了解:
知识图谱一 -- 知识图谱架构、DeepDive中文抽取示例-CSDN博客
主要在看以上三篇内容,因为直接看知识点不容易吸收,且学习速度较慢。即使看完知识点,我最大的困惑:知识图谱如何嵌入、构建 还是没有解决。于是搜索到了:
《斯坦福图机器学习CS224W》√ 原文已收录在endnotes
中文版有这篇笔记:斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings_transe方法 多跳-CSDN博客
但是对于里面的:
word2vec ;transE 并不了解,这里其实就是好奇原理,毕竟对我这种一根筋来说,不懂原理很难接受这个方法。
最终,希望自己再对这篇笔记有一个清晰的理解:NLP之一文搞懂word2vec、Elmo、Bert演变
3. 知识图谱嵌入解读
回到第一部分的两篇论文
首先在query2box中,我的理解,核心思想就是:将原本实体当作一个点的方式 转化为 将实体集 转化为一个box,从而可以对实体取并集(v)。也就是说,在处理conjunctive query时,可以把EPFO逻辑查询转化为DNF,然后将最近的实体进行返回。
在第二篇文章 BETAE中,可以取到非操作。
同时还找到了这篇笔记,希望进一步学习。知识图谱从入门到应用——知识图谱推理:基于表示学习的知识图谱推理-[嵌入学习]-CSDN博客
4.《Unifying Structure Reasoning and Language Pre-training for Complex Reasoning Tasks》
最后回到对这篇论文的解读上,文章旨在 通过将知识图谱的结构融合到对文本的解读上,将文本语义和推理结构进行融合。
如这张图所示,通过RoBERTa对文本进行处理,再通过几何学习表示法对向量进行进一步推理。