论文详解KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

已于 2023-10-10 13:42:26 修改
阅读量478 收藏
点赞数 2
文章标签： 语言模型 人工智能 自然语言处理
于 2023-10-10 11:50:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33624866/article/details/133743827
版权

三个大步骤
1、生成搜索代码
2、搜索知识库，得到知识
3、知识+问题：回答

1-1、（利用提示）使用GPT-4生成python搜索代码，生成三个KB函数（感觉就是包含了实体抽取，关系抽取，代码生成等内容）
1-2、设计了三个KB函数流程：实体查询，实体+关系-实体查询，实体+实体=关系查询
实体+关系=实体查询包括：
1-2-1、实体链接
1-2-1-1、embedding模型，计算sim得到候选
1-2-1-2、实体查询，查询候选知识，截断
1-2-1-3、GPT-4选择链接实体
1-2-2、关系搜索
1-2-2-1、embedding模型，计算sim得到关系候选(利用A，B搜索A，B，C)
1-3、回答，使用了GPT-4进行回答

准备：知识图谱、描述知识库、embedding模型
使用：最多三个GPT-4问答
与我们最开始的区别：
我们embedding化，检索，直接回答
这个是优化了embedding的方法，将问题变为实体抽取，关系抽取，步骤生成，然后embedding不同部分，可能是多重embedding加上关系的实体链接后embedding，然后再检索，再回答。

embedding方法为text-embedding-ada-002模型。

总结:使用了一个模型、一个GPT的API和一个KG进行问答
评估：一共11条，GPT4效果优于ChatGPT，即GPT3.5没有生成检索代码的能力（较差），而其他开源模型如LLM更难，问答、代码生成、格式等生成都无法实现
为什么用多轮：效果更好，虽然效率极大下降
费用限制：较小数据集的实验

ws_nlp_
关注
KnowledGPT:Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases
c_cpp_csharp的专栏
09-18 413
大型语言模型（LLM）在自然语言处理领域表现出了令人印象深刻的影响，但它们仍在与一些问题作斗争，如完整性、及时性、忠实性和适应性。虽然最近的努力侧重于将LLM与外部知识源联系起来，但知识库的整合仍然研究不足，并面临着一些挑战。在本文中，我们介绍了KnowledGPT，这是一个将LLM与各种知识库连接起来的综合框架，有助于知识的检索和存储。检索过程采用了思维链提示程序，该程序以代码格式为知识库生成搜索语言，并为知识库操作提供预定义的功能。
Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling
c_cpp_csharp的专栏
09-06 266
近年来，具有代表性的大型语言模型（LLM）ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为，LLM有可能取代知识图谱等结构化知识库，并作为参数化知识库发挥作用。然而，尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话，但与以前较小的预训练语言模型（PLM）一样，它们在生成基于知识的内容时，仍然难以回忆事实。为了克服这些限制，研究人员提出用基于知识的KGs增强数据驱动的PLM，将明确的事实知识纳入PLM中，从而提高其生成需要事实知识的文本的性能，并为用户查询提供更明智的响应。
【RAG 论文】面向知识库检索进行大模型增强的框架 —— KnowledGPT
VLyb
04-19 1814
KnowledGPT：面向知识图谱检索进行大模型增强的框架工作
RAG综述汇总
GY-赵的博客
07-07 1177
这篇全面的综述论文详细研究了 RAG 范式的发展，包括 Naive RAG、Advanced RAG 和 Modular RAG。介绍了 RAG 框架的三个基础技术，包括检索、生成和增强技术。本文重点介绍了这些关键组件中嵌入的最先进的技术，从而深入了解 RAG 系统的进步。此外，本文还介绍了最新的评估框架和基准。大语言模型（LLM）已经取得了显著的成功，但是在特定领域或知识密集型任务中，特别是在处理超出训练数据或需要当前信息的查询时会产生“幻觉”。
技术动态 | 再看大模型与知识图谱的融合策略：KnowledGPT–面向知识图谱检索进行大模型增强的框架工作...
开放知识图谱
10-09 2782
转载公众号| 老刘说NLP我们来讲讲知识图谱与大模型之间融合的一些工作。大型语言模型（LLMs）在自然语言处理领域产生了令人印象深刻的影响，但它们在完整性、及时性、忠实性和适应能力等方面仍存在一些问题。例如：首先，LLM在及时更新和特定领域的专业性方面存在局限性。其次，这些模型可能会产生不真实或"幻觉"的知识，从而带来可靠性和伦理方面的问题。第三，由于成本和可及性等限制，大模型很难通过持续培训吸...
KnowledgeGPT：利用检索和存储访问知识库上增强大型语言模型10.30
RM_Jin的博客
10-30 1106
大型语言模型（LLM）在自然语言处理领域展现出了令人印象深刻的影响，但它们仍然在几个方面存在问题，例如完整性、及时性、忠实度和适应性。尽管最近的研究工作集中在将LLM与外部知识源进行连接，但知识库（KB）的整合仍然研究不足且面临多个挑战。本文介绍了KnowledGPT，这是一个全面的框架，用于将LLM与各种知识库连接起来，促进知识的检索和存储。检索过程采用了思维启发程序，它以代码格式生成用于KB的搜索语言，并具有预定义的KB操作功能。
MemoryBank：Enhancing Large Language Models with Long-Term Memory
lllllli_的博客
04-27 2178
模型中缺乏长期记忆机制。这种不足在需要持续互动的情况下变得越来越明显，如私人伴侣系统、心理咨询和秘书协助。认识到长期记忆的必要性，我们提出了MemoryBank，这是一种为LLM量身定制的新型记忆机制。记忆库使模型能够唤起相关记忆，通过不断的记忆更新不断进化，通过合成以前交互的信息，随着时间的推移理解和适应用户的个性。为了模仿拟人行为并选择性地保存记忆，记忆库引入了一种记忆更新机制，其灵感来自埃宾浩斯遗忘曲线理论。这种机制允许人工智能根据经过的时间和记忆的相对重要性来忘记和强化记忆，从而提供更像人类的记忆机
MIXLORA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
c_cpp_csharp的专栏
08-26 151
微调大型语言模型（LLM）是一种常见的做法，可以使预训练模型适应特定的应用程序。虽然像LoRA这样的方法在微调过程中有效地解决了GPU内存限制，但它们的性能往往不足，特别是在多任务场景中。相比之下，混合专家（MoE）模型，如Mixtral 8x7B，在多任务学习场景中表现出卓越的性能，同时保持了减少的参数数量。然而，这些MoE的资源需求仍然具有挑战性，特别是对于内存小于24GB的消费级GPU。为了应对这些挑战，我们提出了MIXLORA，这是一种基于LoRA构建资源高效稀疏MoE模型的方法。
MemoryBank: Enhancing Large Language Modelswith Long-Term Memory 论文阅读
weixin_51657614的博客
03-27 1937
ChatGPT (OpenAI, 2022年)和GPT-4 (OpenAI, 2023年)等大型语言模型(llm)的出现，导致从教育、医疗保健到客户服务和娱乐等各个领域的影响力越来越大。这些强大的人工智能系统展示了非凡的能力理解并产生类似人类的反应。尽管法学硕士具有非凡的能力，但一个关键的限制是他们缺乏长期记忆，这是人类沟通的一个重要方面，特别是在需要持续互动的场景中，如个人陪伴、心理咨询和秘书任务。人工智能中的长期记忆对于维持上下文理解、确保有意义的交互和理解用户行为至关重要。
Infusing Knowledge into Large Language Models with Contextual Prompts
c_cpp_csharp的专栏
05-21 127
知识注入是一种很有前途的方法，可以增强特定领域NLP任务的大型语言模型，而不是从头开始对大型数据进行预训练模型。这些增强的LLM通常依赖于来自现有知识图谱的额外预训练或知识提示，这在许多应用中是不切实际的。相比之下，直接从相关文档中注入知识更具普遍性，减轻了对结构化知识图的需求，同时对通常在任何知识图谱中都找不到的实体也很有用。基于这一动机，我们提出了一种简单而通用的知识注入方法，通过在输入文本中的上下文中生成提示。我们的实验表明了我们的方法的有效性，我们通过探索微调LLM来评估该方法。
没有标准答案:基于知识的对话生成与对抗激活多参考学习
ACfengren的博客
12-12 388
以知识为基础的对话(KGC Knowledge-grounded conversation)显示出极好的潜力，可以提供引人入胜和信息丰富的回答。然而，现有的方法强调在特定的对话语境中选择一个黄金知识，忽略了对话中的一对多现象。然而，现有的方法强调在特定的对话语境中选择一个黄金知识，忽略了对话中的一对多现象。为此，我们建立了一个多引用KGC数据集，并提出了一系列指标来系统地评估现有KGC模型的一对多有效性。
扩散模型（2）--1
m0_63860007的博客
09-29 817
生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1327
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
大模型~合集5
最新发布
whaosoft~aiotの开发板商城
10-02 957
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 642
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 978
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
神经网络在多分类问题中的应用
小高~的博客
09-29 806
神经网络在分类任务中的应用越来越广泛，尤其是在图像识别、自然语言处理等领域。本文将介绍如何使用PyTorch构建一个简单的神经网络来处理多分类问题。我们将通过一个实战案例，展示数据构造、模型训练、模型保存与加载、以及评估结果的整个过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值