露葵025-CSDN博客

原创 Rlogic：从知识图谱中递归逻辑规则学习12.17

逻辑规则广泛用于表示领域知识和假设，这是基于符号推理的人类智能的基础。最近，已经证明，将逻辑规则集成到常规学习任务中可以以标签有效的方式进一步提高学习性能。人们已经进行了许多尝试从知识图谱（KG）中自动学习逻辑规则。然而，大多数现有方法完全依赖于观察到的规则实例来定义规则评估的评分函数，因此缺乏泛化能力并且计算效率严重低下。RLogic 没有完全依赖规则实例进行规则评估，而是定义了基于谓词表示学习的评分模型，该模型由采样的规则实例进行训练。此外，RLogic 将逻辑规则最重要的属性之一——演绎性质。

2023-12-17 15:51:30 1099

原创计划和解决提示：通过大型语言模型改进零样本思维链推理12.9

最近，大型语言模型 (LLM) 已被证明可以在各种 NLP 任务中提供令人印象深刻的性能。为了解决多步骤推理任务，少镜头思维链（CoT）提示包括一些手动制作的逐步推理演示，使法学硕士能够显式生成推理步骤并提高推理任务的准确性。为了消除手动工作，Zeroshot-CoT 将目标问题陈述与“让我们一步一步思考”连接起来，作为法学硕士的输入提示。尽管 Zero-shot-CoT 取得了成功，但它仍然存在三个缺陷：计算错误、失步错误和语义误解错误。

2023-12-09 11:06:19 893

原创利用段落检索和生成模型进行开放域问答12.2

事实证明，开放域问答的生成模型具有竞争力，无需借助外部知识。虽然很有希望，但这种方法需要使用具有数十亿个参数的模型，而这些模型的训练和查询成本很高。在本文中，我们研究了这些模型可以从检索可能包含证据的文本段落中获益多少。我们在 Natural Questions 和 TriviaQA 开放基准测试中获得了最先进的结果。有趣的是，我们观察到当增加检索的段落数量时，该方法的性能显着提高。这证明序列到序列模型提供了一个灵活的框架，可以有效地聚合和组合来自多个段落的证据。

2023-12-02 21:59:13 711

原创 LOGIC-LM：使用符号求解器为大型语言模型提供忠实的逻辑推理11.22

大型语言模型（LLM）已经显示出类似人类的推理能力，但仍然难以解决复杂的逻辑问题。本文介绍了一种新颖的框架 LOGIC-LM，它将LLM与符号求解器相集成，以提高逻辑问题的解决能力。我们的方法首先利用LLM将自然语言问题转化为符号表述。随后，确定性符号求解器对所表述的问题进行推理。我们还引入了一个自我求精模块，它利用符号求解器的错误消息来修改符号形式化。

2023-11-29 11:31:55 1132

原创基于知识问答的上下文学习中的代码风格11.20

现有的基于知识的问题分类方法通常依赖于复杂的训练技术和模型框架，在实际应用中存在诸多局限性。最近，大型语言模型（LLM）中出现的上下文学习（ICL）功能为KBQA提供了一个简单且无需训练的语义解析范例：给定少量问题及其标记的逻辑形式作为演示示例，LLM可以理解任务意图并生成新问题的逻辑形式。然而，目前功能强大的LLM在预训练期间几乎没有暴露于逻辑形式，导致高格式错误率。为了解决这个问题，我们提出了一种代码风格的上下文学习方法的KBQA，它转换到更熟悉的代码生成过程中的LLM的不熟悉的逻辑形式的生成过程。

2023-11-21 21:00:57 545

原创学习教授LLM逻辑推理11.19

大型语言模型（LLM）由于其卓越的语言生成能力和极强的泛化能力而受到学术界和工业界的极大关注。然而，当前的LLM仍然会输出不可靠的内容，由于其固有的问题（例如，幻觉）。为了更好地解开这个问题，在本文中，我们进行了深入的调查，系统地探讨LLM在逻辑推理的能力。更详细地说，我们首先调查LLM在逻辑推理的不同任务上的缺陷，包括事件关系提取和演绎推理。我们的研究表明，LLM在解决具有严格推理的任务时表现不佳，甚至会产生反事实的答案，这需要我们迭代地改进。

2023-11-20 11:36:57 335

原创融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全11.18

知识图补全（KGC）旨在根据观察到的事实推断缺失的事实，这对许多下游应用程序具有重要意义。鉴于深度学习和预训练语言模型（LM）的成功，一些基于LM的方法被提出用于KGC任务。然而，它们中的大多数专注于对事实三元组的文本进行建模，而忽略了更深层次的语义信息（例如，拓扑上下文和逻辑规则），这对KG建模很重要。为此，我们提出了一个统一的框架FTL-LM来描述KGC语言模型中的拓扑上下文和逻辑规则，主要包括一种新的基于路径的拓扑上下文学习方法和一种变分期望最大化（EM）软逻辑规则提取算法。

2023-11-18 11:27:28 538

原创大语言模型可以学习规则11.13

当提示一些例子和中间步骤时，大型语言模型（LLM）在各种推理任务中表现出令人印象深刻的性能。然而，在LLM中依赖于隐式知识的提示方法，在隐式知识是错误的或与任务不一致时，经常产生不正确的答案。为了解决这个问题，我们提出了假设到理论（HtT），一个框架，学习规则库与LLM推理。HtT包含两个阶段，归纳阶段和演绎阶段。在归纳阶段，LLM首先被要求在一组训练示例上生成和验证规则。规则出现并导致正确答案足够频繁地被收集以形成规则库。在推理阶段，提示LLM使用学习的规则库来执行推理以回答测试问题。

2023-11-13 20:37:00 525

原创 ChatkBQA：一个基于大语言模型的知识库问题生成-检索框架11.13

基于知识的问答（KBQA）旨在从大规模知识库（KBs）中获得自然语言问题的答案，通常分为两个研究部分：知识检索和语义分析。然而，三个核心的挑战仍然存在，包括低效的知识检索，检索错误的语义分析产生不利影响，和以前的KBQA方法的复杂性。在大型语言模型（LLM）时代，我们引入了ChatKBQA，这是一种基于Llama-2，ChatGLM 2和Baichuan 2等开源LLM微调的新型生成然后检索KBQA框架。

2023-11-13 10:00:33 1211

原创 Think-on-Graph：基于知识图的大型语言模型的深层可靠推理11.12

尽管大型语言模型（LLM）在各种任务中取得了巨大的成功，但它们经常与幻觉问题作斗争，特别是在需要深入和负责任的推理的场景中。这些问题可以通过在LLM推理中引入外部知识图（KG）来部分解决。在本文中，我们提出了一个新的LLM-KG集成范式“LLM KKG”，它把LLM作为一个代理，以交互式地探索相关的实体和KGs上的关系，并进行推理的基础上检索到的知识。我们通过引入一种称为图上思维（ToG）的新方法进一步实现了这种范式，其中LLM代理迭代地在KG上执行波束搜索，发现最有希望的推理路径，并返回最可能的推理结果。

2023-11-12 21:27:56 1028

原创通过对多个思维链进行元推理来回答问题11.8

现代的多跳问题回答（QA）系统通常将问题分解为一系列推理步骤，称为思维链（CoT），然后才得出最终答案。通常会对多个链进行采样，并通过对最终答案进行投票机制进行聚合，但中间步骤本身被丢弃。尽管这样的方法提高了性能，但它们不考虑链之间的中间步骤关系，并且不提供预测答案的统一解释。我们引入了多链推理（MCR），一种方法，它引导大型语言模型对多个思维链进行元推理，而不是聚合它们的答案。MCR检查不同的推理链，在它们之间混合信息，并选择生成解释和预测答案中最相关的事实。MCR在7个多跳QA数据集上优于强基线模型。

2023-11-08 09:56:17 189

原创知识注入以对抗大型语言模型（LLM）的幻觉11.6

大型语言模型（LLM）内容生成的一个缺点是产生幻觉，即在输出中包含错误信息。对于需要可靠、基于事实的、可控的大规模文本生成的企业应用案例，这尤为危险。为了减轻这一问题，本文利用一种称为知识注入（KI）的技术，将与文本生成任务相关的实体的上下文数据从知识图谱映射到文本空间中，以便在LLM提示中包含这些数据。以回应在线客户对零售店铺的评论为例，我们发现KI可以增加生成文本中包含的正确断言的数量。

2023-11-06 11:52:50 664

原创验证链（CoVe）降低LLM中的幻觉10.31

在大型语言模型中，生成看似正确但实际上是错误的事实信息，即所谓的幻觉，是一个尚未解决的问题。本文研究了语言模型在给出回答时进行自我纠正的能力。开发了一种称为“验证链”（COVE）的方法，通过该方法，模型首先（i）起草一个初始回答；（ii）计划验证问题，对其起草的回答进行事实核查；（iii）独立回答这些问题，以避免答案受其他回答的偏见影响（iv）生成经过验证的最终回答。

2023-10-31 20:54:14 228

原创自相矛盾的LLM幻觉：评估、检测、缓解10.30

大型语言模型（Large LMs）容易产生包含虚构内容的文本。其中一个重要问题是自相矛盾，即LM在同一上下文中生成两个相互矛盾的句子。在这项工作中，对各种经过指导的LM进行了全面的自相矛盾调查，包括评估、检测和缓解。揭示了当LM为开放领域的主题生成文本时，自相矛盾的普遍性，例如ChatGPT生成的所有句子中有17.7%存在自相矛盾。自相矛盾还可以作为基于检索的方法的补充，因为其中有很大一部分（例如ChatGPT的35.8%）无法通过维基百科进行验证。

2023-10-30 19:16:04 234

原创 KnowledgeGPT：利用检索和存储访问知识库上增强大型语言模型10.30

大型语言模型（LLM）在自然语言处理领域展现出了令人印象深刻的影响，但它们仍然在几个方面存在问题，例如完整性、及时性、忠实度和适应性。尽管最近的研究工作集中在将LLM与外部知识源进行连接，但知识库（KB）的整合仍然研究不足且面临多个挑战。本文介绍了KnowledGPT，这是一个全面的框架，用于将LLM与各种知识库连接起来，促进知识的检索和存储。检索过程采用了思维启发程序，它以代码格式生成用于KB的搜索语言，并具有预定义的KB操作功能。

2023-10-30 10:38:17 787

原创推理还是背诵？通过反事实任务探索语言模型的能力和局限性

最近，语言模型在各种任务中展现出的令人印象深刻的性能表现，表明它们具备一定程度的抽象推理能力。这些能力是通用且可转移的，还是专门用于预训练期间接触到的特定任务？为了解开这些效应，本提出了一种基于"反事实"任务变体的评估框架，这些变体偏离了标准任务的默认假设。在11个任务的一系列测试中，观察到对于反事实变体的表现具有一定的非平凡性，但与默认条件相比，性能明显而一致地下降。这表明，尽管当前的语言模型在一定程度上具备抽象任务解决能力，但它们通常也依赖于狭窄的、不可转移的任务解决程序。

2023-10-28 10:18:21 674

原创零资源的大语言模型幻觉预防

大语言模型（LLMs）在各个领域的广泛应用引起了人们对“幻觉”问题的关注，即LLMs生成事实不准确或无依据的信息。现有的语言助手中的幻觉检测技术依赖于复杂的不确定性、特定的自由语言思维链（CoT）技术或基于参数的方法，存在解释性问题。此外，针对生成后识别幻觉的方法无法防止其发生，并且由于指令格式和模型风格的影响，性能不一致。本文介绍了一种新颖的预检测自我评估技术，称为SELF-FAMILIARITY，重点评估模型对输入指令中存在的概念的熟悉程度，并在遇到不熟悉的概念时不生成响应。

2023-10-28 00:53:34 579

原创 DoLa：对比层解码提高大型语言模型的事实性

尽管大型语言模型（LLM）具有很强的功能，但它们容易产生幻觉，即生成与预训练期间观察到的事实偏离的内容。本文提出了一种简单的解码策略，用于减少预训练的LLM中的幻觉，该策略不需要依赖检索的外部知识或额外的微调。本方法通过对比从较高层和较低层投影到词汇空间所得到的logits之间的差异来获得下一个token的分布，利用了LLM中事实知识通常局限于特定的Transformer层的事实。这种对比层解码（DoLa）的方法能够更好地表现出事实知识，并减少生成不正确事实的情况。

2023-10-27 21:20:52 761

原创基于提示的少样本语言学习的对比学习方法10.25

GPT-3在使用自然语言提示和上下文学习方面展示出的令人印象深刻的性能，激发了在这一范式下更好地微调中等规模模型的相关工作。沿着这一研究方向，本文提出了一种对比学习框架，该框架通过对同一类别的输入进行聚类，以提高使用有限示例训练的模型的泛化能力。具体而言，提出了一种监督对比框架，该框架通过不同的增强“视图”对同一类别的输入进行聚类，并将来自不同类别的输入进行排斥。通过添加不同的语言提示和上下文演示来创建一个示例的不同“视图”。将对比损失与基于提示的少样本学习中的。

2023-10-25 15:46:54 790

原创多跳推理真的可解释吗？10.24

近年来，多跳推理在获取更可解释的链接预测方面得到了广泛研究。然而，实验中发现，这些模型给出的许多路径实际上是不合理的，而对它们的可解释性评估工作却很少。本文提出了一个统一的框架，以定量评估多跳推理模型的可解释性，以推进它们的发展。路径回溯局部可解释性全局可解释性并设计了一种使用规则的可解释性得分来计算这些指标的近似策略。此外，手动注释了所有可能的规则，并建立了一个用于检测多跳推理可解释性的基准测试（BIMR）。在实验中，验证了基准测试的有效性。

2023-10-24 19:18:28 210

原创基于Tucker分解的时序知识图谱补全10.23

知识图谱已被证明是众多智能应用的有效工具。然而，大量有价值的知识仍然隐含在知识图谱中。为了丰富现有的知识图谱，近年来许多用于链接预测和知识图谱嵌入的算法被设计出来推断新的事实。但是，这些研究大多集中在静态知识图谱上，忽略了反映知识有效性的时间信息。开发适用于时间知识图谱补全的模型是一项日益重要的任务。本文基于四阶张量的Tucker分解启发，构建了一个新的用于时间知识图谱补全的张量分解模型。证明了所提出的模型具有完全表达能力，并在几个公共基准测试中报告了最先进的结果。

2023-10-23 21:01:59 480

原创探索LLM在图上学习的潜力10.14 暂停

Learning on Graph已经引起了极大的关注，因为它在现实世界中有广泛的应用。在具有文本节点属性的图形上进行学习的最流行的流程主要依赖于图神经网络（GNN），并利用浅层文本嵌入作为初始节点表示，但这在通用知识和深入语义理解方面存在局限性。近年来，大型语言模型（LLM）被证明具有广泛的常识和强大的语义理解能力，已经彻底改变了处理文本数据的现有工作流程。LLM作为增强器。利用LLM来增强节点的文本属性，借助其庞大的知识，然后通过GNN生成预测结果。试图直接使用LLM作为独立的预测器。

2023-10-19 11:29:03 171

原创事件知识图谱综述10.17+10.18 弃

除了以实体为中心的知识，通常以知识图谱（KG）的形式组织外，事件也是世界上一种重要的知识类型，这促使了以事件为中心的知识表示形式的出现，如事件知识图谱（EKG）。它在许多下游应用中扮演着越来越重要的角色，例如搜索、问答、推荐、金融量化投资和文本生成。本文全面调研了EKG的历史、本体、实例和应用视角。具体而言，为了全面描述EKG，我们关注其历史、定义、模式归纳、获取、相关代表性图谱/系统以及应用。文中还研究了EKG的发展过程和趋势。进一步总结了未来EKG研究的前景方向，以促进未来的研究。

2023-10-19 11:28:25 472 1

原创使用LLM在KG上进行复杂的逻辑推理10.12+10.13

在知识图谱上进行推理是一项具有挑战性的任务，这需要深度理解实体之间复杂的关系和它们关系的逻辑。而当前的方法通常依赖于学习几何形状以将实体嵌入到向量空间中进行逻辑查询操作，但在复杂查询和特定数据集表示方面表现不佳。几何形状通常指的是将实体或关系映射到向量空间时所使用的几何结构或形状。几何形状嵌入方法通过学习实体和关系之间的几何关系，将它们映射到向量空间中的几何形状。这些几何形状可以是点、线、曲线等，它们在向量空间中的位置和距离可以反映实体和关系在知识图谱中的语义关系。本文提出了一种新的。

2023-10-12 20:18:36 440

原创知识增强语言模型提示零样本知识图谱问答10.8+10.11

大型语言模型（LLM）能够执行零样本closed-book问答任务，依靠其在预训练期间存储在参数中的内部知识。然而，这种内部化的知识可能是不足和错误的，这可能导致LLM生成错误的答案。此外，对LLM进行微调以更新其知识是昂贵的。为此，本文提议直接在LLM的输入中增加知识。具体而言，首先根据问题与相关事实之间的语义相似性从知识图谱中检索与输入问题相关的事实。然后，将检索到的事实以提示的形式前置到输入问题之前，然后将其转发给LLM生成答案。

2023-10-08 21:18:49 1245

原创 Mind Map：大语言模型中的知识图谱提示激发思维图10.1+10.2+10.7

LLM通常在吸收新知识的能力、以及决策过程的透明度方面有局限性。“generation of hallucination”（幻觉生成）可以指代使用计算机模型或算法生成虚假的感知或幻觉。这是指通过对输入数据进行处理和转换，模型可以生成看起来像是真实幻觉的信息。大语言模型如GPT-3是基于机器学习技术的，通过从大量文本数据中学习语言模式和上下文来生成文本回复。尽管它可以生成合理的、连贯的回答，但它并不具备真实的感知能力，也不会产生真实的幻觉。

2023-10-02 20:16:45 1220

原创知识图谱推理研究综述9.3

知识图谱是以图的形式表示真实世界的实体与关系之间关系的知识库。具体来说知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论、方法、与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示其核心结构、发展历史、前沿领域以及整体知识构架，达到多学科融合目的的现代理论。

2023-09-03 22:20:01 311

原创 GoT：用大语言模型解决复杂的问题

本文介绍了一种思维图（GoT），这是一个框架，将大语言模型中的提示能力提升到思维链或思维树等范式之外。GoT的关键思想和主要优点是能够将大语言模型生成的信息生成建模为任意图，其中信息单位（“LLM thoughts”）是顶点，边对应这些顶点之间的依赖关系。这种方法能够将任意大语言模型的思想组合协同输出，或使用反馈循环增强思想。我们说明了GoT在不同任务上比现有技术具有的优势。确保GoT可以通过新的思想转换进行进行扩展，因此可以用于引导新的提示方案。

2023-09-02 16:56:51 1329

原创基于图卷积网络的知识嵌入8.21

近年来，围绕图卷积网络（GCN）这一主题出现了大量的文献。如何有效地利用复杂图中丰富的结构信息（例如具有heterogeneous types of entities and relations(异构实体和关系类型)的知识图谱）是该领域的主要公开挑战。大多数GCN方法要么局限于同质边类型（Homogeneous type of edges）（例如，仅引用链接），要么只关注节点的表示学习，而不是联合传播和更新节点和边的嵌入以实现目标驱动目标。

2023-08-21 22:21:34 309

原创 ICLR2020 Query2Box：基于BOX嵌入的向量空间知识推理8.15+8.16+8.17+8.18

在大规模不完全知识图谱上回答复杂的逻辑查询是一项基础性但具有挑战性的任务。最近，一种解决这个问题的很有前途的方法是将KG实体和查询嵌入到向量空间中，这样回答查询的实体紧密嵌入在查询附近。然而，先前的工作将查询建模为向量空间中的单点，这是有问题的，因为复杂的查询表示其答案实体的潜在大集合，但尚不清楚如何将这样的集合表示为单点。此外先前工作只能处理使用连词（∧）和存在量词（ ∃ ）的查询。处理具有逻辑或（∨）的查询仍然是一个悬而未决的问题。将查询建模为向量空间中的单点意味着将查询表示为向量空间中的一个点。

2023-08-15 21:42:53 369

原创 8.13+8.14

同时，知识向量的生成也可以利用语义嵌入的思想，通过学习实体和关系的向量表示来捕捉它们之间的语义关联。例如，在知识图谱中，可以使用嵌入向量将实体和关系映射到向量空间中，并利用向量的距离和方向来推断实体之间的关系。同时，知识向量的生成也可以受到嵌入向量的影响，通过在训练过程中使用嵌入向量的语义信息来提高知识向量的表示能力和语义关联性。可以看到，嵌入向量和知识向量都是将语义信息表示为向量的方法，目标是捕捉和表示语义的相似性和关联性。而知识向量是一种将知识表示为向量的方法，用于捕捉实体之间的语义关联和语义相似性。

2023-08-14 01:03:23 280

核心素养视域下体育非线性教...论释义、价值探求与实践探索_叶松东.caj

Java潜艇大战小游戏笔记及源码

空空如也