基于llm+rag构建自己的知识图谱

已于 2024-07-26 09:29:10 修改
阅读量163 收藏
点赞数
分类专栏： LLM——AIGC 文章标签： 知识图谱 人工智能
于 2024-06-29 15:52:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaomu_347/article/details/140064658
版权

（1）背景知识

       至于llm和rag技术这里不做过多赘述，可以查看前面的学习笔记，下面主要介绍一下知识图谱，它是一个使用图结构化的数据模型或拓扑来整合数据的知识库，是表示关于现实世界实体及其相互关系的信息的一种方式。知识图谱通常用于驱动搜索引擎、推荐系统、社交网络等。以下是一些常见的知识图谱数据库：

  • 1. Neo4j：Neo4j 是一个基于图的数据库管理系统，专门用于存储和处理图数据，适合存储知识图谱中的实体、关系和属性。
  • 2. AllegroGraph：AllegroGraph 是一个面向三元组存储的图数据库，支持存储大规模的语义网数据和知识图谱数据。
  • 3. Stardog：Stardog 是一个知识图谱平台，支持存储、管理和查询复杂的图数据，并提供语义推理和数据融合功能。
  • 4. OrientDB：OrientDB 是一个多模型数据库管理系统，支持图数据库、文档数据库和对象数据库的存储和查询。
  • 5. Amazon Neptune：Amazon Neptune 是亚马逊提供的托管图数据库服务，兼容图数据库的各种数据模型和查询语言。
  • 6. Ontotext GraphDB：GraphDB 是一个语义存储和查询系统，特别适用于语义网和知识图谱的数据管理。
  • 7. JanusGraph：JanusGraph 是一个开源的分布式图数据库，支持大规模图数据的存储和查询，可以与多种数据存储后端集成。
  • 8. ArangoDB：ArangoDB 是一个多模型数据库系统，支持图数据库、文档数据库和键值对数据库的混合查询和存储。
  • 9.NebulaGraph：Ne
了解本专栏 订阅专栏 解锁全文 超级会员免费看
xiaomu_347
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
知识图谱构建：LLM与知识工程的完美结合
AI架构设计之禅
04-27 566
1. 背景介绍 1.1 知识爆炸与信息孤岛 随着互联网和信息技术的飞速发展，我们正处于一个知识爆炸的时代。海量的数据和信息充斥着我们的生活，但同时也带来了信息过载和信息孤岛的问题。传统的信息检索方式难以有效地组织和利用这些知识，难以满足人们对知识获取和应用的需求。
如何使用大语言模型（LLM）自动构建知识图谱：基于OpenAI实现
人工智能讲师分享前沿技术
04-18 2150
可以看到，数据集包含若干产品的相关字段，但这次我们只用到里面的title字段，如果你手头有其他数据集，包含更完善的信息，也可以同时使用多个字段（如果你打算使用多个字段，那就直接把多个字段拼接为一个新的字段"text"，比如标题_描述_规格），然后我们将使用 ChatGPT 从中提取构建知识图谱所需要的实体和关系信息。这些类型将与 Schema.org 中的对应实体和关系相映射。实体解析的作用是将数据集中的实体与现实世界中的概念相匹配，会使用 NLP 技术，对数据集中的头部和尾部实体执行基本的实体解析。
当大型语言模型（LLM）遇上知识图谱：两大技术优势互补
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-07 2173
大型语言模型（LLM）已经很强了，但还可以更强。通过结合知识图谱，LLM 有望解决缺乏事实知识、幻觉和可解释性等诸多问题；而反过来 LLM 也能助益知识图谱，让其具备强大的文本和语言理解能力。而如果能将两者充分融合，我们也许还能得到更加全能的人工智能。
基于 LLM+LlamaIndex+NebulaGraph，构建大模型知识图谱的检索（RAG）方法
机器学习社区
01-31 2130
LlamaIndex已经创建了一个CustomRetriever。您可以在下面的代码中看到它的样子。它执行了知识图谱搜索和向量搜索。来自知识图谱搜索的微妙细节（KGTableRetriever）。来自向量索引搜索的语义相似度搜索细节（VectorIndexRetriever）。self,) -> None:else:在本文中，我们探讨了知识图谱，特别是 NebulaGraph。我们使用 LlamaIndex、NebulaGraph 和 GPT-3.5为费城费城队建立了一个 RAG 流水线。
RAG与知识库搭建
lovely_yoshino的博客
06-11 8233
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
精通RAG架构：从0到1，基于LLM+RAG构建生产级企业知识库
架构师尼恩
05-16 1691
在AI的浩瀚宇宙中，语言模型犹如一艘艘探索船，它们通过预测单词序列的概率，解码语言的奥秘。这些由人工神经网络构成的模型，经过海量文本数据的洗礼，不仅理解语言的本质，更能预测序列中的下一个单词。当我们将这些模型的参数规模扩大到一个全新的量级时，便诞生了所谓的大型语言模型（LLM），它们以其庞大的参数数量，学习语言中的复杂模式，为世界带来了革命性的影响。幻觉现象在大型语言模型（LLM）中主要因其无法访问最新信息而产生，这一问题根源于模型对其训练数据集的严重依赖。
RAG与LLM原理及实践（3）--- RAG结合LLM的local实现并附完整代码
最新发布
talentyiyy的专栏
06-22 989
其实LLM结合RAG的方式可以有很多种，但是原理都是上一节介绍的，其实本质上就是要LLM知道，哪一类问题‘我’的回答是满足提问者要求的，哪一类问题‘我’可能回答的没有RAG好，‘我’可以借助‘RAG’，并将答案修饰形成提问者需要的风格进行予以转述，并回答。下面直接上 python 代码完整实现本地的RAG+LLM，并解释其实现。
RAG与LLM原理及实践（2）--- RAG结合LLM function调用的原理及落地实践
talentyiyy的专栏
06-21 1283
在这两者结合的过程中，你要知道一件事，那就是LLM大模型必须知道你所提出的问题，在什么时候需要 LLM来回答， 什么时候需要 RAG 来回答，才是比较好的结果，prompt 起着至关重要的作用。一方面，RAG的专家知识库上因为加入了LLM，而使得RAG对应更自然，不再是生硬的回答，借助LLM，可以帮助RAG的回答润色。我们可以看到我们自己定义了专业的函数，这就相当于是 RAG，他的 "description": "当你想知道现在的时间时非常有用。" "一个小时后几点" "北京天气如何？
讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。
Winfredzhang的博客
06-02 917
文档预处理：将法律文档转化为向量，存储在Faiss向量数据库中。文档检索：根据用户问题检索相关文档。提取重要段落：从相关文档中提取与用户问题相关的重要段落。生成答案：使用OpenAI的GPT-4生成详细回答。前后端构建：使用Flask构建后端API，用HTML和JavaScript构建简单的前端页面。通过这些步骤，即使是初学者也能逐步理解和实现一个利用RAG+LLM技术的法律咨询网站。
基于LLM的知识图谱补全研究
02-26
“基于LLM的知识图谱补全研究”这个标题表明，该研究主要关注的是利用大型语言模型（LLMs）来解决知识图谱的补全问题。LLMs，如BERT、GPT或Transformer系列模型，已经在自然语言处理任务上取得了显著成果，它们能够...
课程设计-基于知识图谱实现的智能问答系统python源码(包含意图识别与类知识库送入LLM方法)
01-19
基于知识图谱的智慧城市主题智能问答系统，包含意图识别与类知识库送入LLM方法 py2neo疑似寄了，封装了一套自己用到的的Neo4j操作 实体识别直接AC自动机暴力，听说有库也懒得调了，直接和gpt一起手搓几十行解决，...
基于知识图谱的智能问答系统python源码+项目说明（包含意图识别与类知识库送入LLM方法）.zip
04-11
LLM使用RWKV，借鉴了wenda的prompt，对用户问题中找到的所有实体，查询其在知识图谱中的所有相关知识送入LLM prompt中，让LLM自己提取。在这种已知图谱形状，自己做了知识翻译的情况下，使用3B小模型跑fp16i8，就能...
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
Ollama+WebUI+AnythingLLM构建个人/企业知识库
04-03
对于企业来说，需要考虑信息安全，企业私有的知识库显然不能利用公域的大模型。那么搭建一套基于本地大模型的个人/企业知识库。Ollama可以帮助你在本地搭建知识库，替代chatgpt
应用篇| 深入浅出LLM应用之RAG
2401_85379281的博客
06-18 832
虽然RAG能够快速解决LLM幻觉、新鲜度、以及数据安全性问题，但是RAG也有它的局限性，比如（1） 向量数据库是一个尚未成熟的技术，缺乏处理大量数据规模的通用方案，因此数据量较大时,速度和性能存在挑战。（2）在推理时需要对用户输入进行预处理和向量化等操作，增加了推理的时间和计算成本。（3）外部知识库的更新和同步，需要投入大量的人力、物力和时间。（4） 需要额外的检索组件，增加了架构的复杂度和维护成本。
浅谈 LLM RAG 对话机器人和 Text2SQL 的设计和实现
ailiandeziwei的专栏
03-26 605
本文结合一个场景，简单地介绍了如何来设计基于 LLM 的聊天机器人和 Text2SQL 应用，希望对读者有所帮助。
LLM之RAG实战（三十九）| 高级RAG技术全面解析（附代码）
wshzd的博客
06-05 1440
在检索步骤中，用户的查询也被转换为嵌入，此嵌入用于在向量数据库中搜索最相关的文本数据。最后，在生成步骤中，查询会使用先前检索到的相关文档进行增强，大型语言模型会使用此增强的提示来生成对用户问题的答案。下一步，它使用 Faiss 执行向量搜索，Faiss 返回前五个最接近的文档的索引，这些索引用于根据文档的排名创建反向分数文档（即，最接近的文档得分最高）。上面提供的伪代码概述了使用机器学习根据相关性对文档进行重新排序的方法，具体来说，是通过预测用户根据过去的交互找到相关文档的可能性。
LLM大语言模型应用方案之RAG检索增强生成的实现步骤。
L
06-19 614
LLM大语言模型应用方案之RAG检索增强生成的实现步骤。
longchain + llm 知识图谱
01-26
LongChain LLM (LongChain Library Map) 是一个建立在LongChain区块链上的知识图谱项目。LongChain LLM 旨在构建一个全球范围的知识图谱，用于整合和存储各种领域的知识数据，并为用户提供高效、便捷的知识检索和应用服务。 LongChain LLM 的设计理念是将区块链技术与知识图谱相结合，利用区块链的去中心化、不可篡改、安全可信的特性，构建一个具有可持续性和长期稳定性的知识图谱平台。通过LongChain区块链的分布式存储和智能合约功能，可以确保知识图谱的数据安全性和完整性，防止数据被篡改或丢失。 在LongChain LLM 中，用户可以上传、分享、检索各种类型的知识数据，包括文字、图片、音频、视频等多媒体信息。同时，LongChain LLM 还提供了丰富的数据标注和链接功能，可以将不同领域的知识数据进行关联和整合，形成更加完整和多维度的知识图谱网络，为用户提供更丰富和全面的知识检索和应用服务。 通过LongChain LLM，用户可以方便地查询和获取各种知识信息，为科研、教育、商业等领域的用户提供便捷的知识支持和服务。同时，LongChain LLM 还可以在智能合约的支持下，实现知识数据的交易和共享，为知识创造和分享提供更加灵活和可持续的机制。 总之，LongChain LLM 作为一个基于区块链技术的知识图谱项目，将为全球用户提供高效、安全、可信的知识管理和服务平台，具有广阔的发展前景和重大的社会价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值