服务器上GraphRag+Ollama避坑指南

最新推荐文章于 2024-08-23 10:18:29 发布

YiHanXii

最新推荐文章于 2024-08-23 10:18:29 发布

阅读量435

点赞数 4

文章标签：服务器数据库

本文链接：https://blog.csdn.net/YiHanXii/article/details/141224279

版权

1、离线下ollama
教程1
教程2
中途碰到输入命令没有反应的情况，可以试试关掉断开服务器，重连一下，再执行命令。
2、
GraphRAG + Ollama 本地部署全攻略：避坑实战指南
 GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法
教程都差不多，
我选择的是模型：
LLM：llama3:8b
embding模型：quentinz/bge-large-zh-v1.5:latest

遇到的问题：

问题一：检查日志发现，问题出现在读取txt文件的时候

16:08:03,934 graphrag.index.input.text WARNING Warning! Error loading file 追风筝的人.txt. Skipping...
16:08:03,934 graphrag.index.input.text INFO Found 1 files, loading 0
、、、、
 raise KeyError(key)
KeyError: 'id'
16:08:04,112 graphrag.index.reporting.file_workflow_callbacks INFO Error running pipeline! details=None

这个问题是因为txt文件的编码格式不对，编码格式改成utf-8就可以了
请添加图片描述
问题二：
local 查询没有问题，但是global查询模型说自己不知道

python -m graphrag.query --root ./ragtest --method local "哈桑"

python -m graphrag.query --root ./ragtest --method global "哈桑"

请添加图片描述
问题原因：
在这里插入图片描述
解决办法：
修改模型上下文长度。

这个教程里也写了一些可能出现的问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

YiHanXii

关注关注

4
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

graph-rag+ollama 调试记录

weixin_42972597的博客

08-12

729

参考链接：https://www.bilibili.com/video/BV1rE421w7t3/?

大模型 | GraphRAG + Ollama 本地部署全攻略：避坑实战指南

最新发布

老皮的博客

08-24

1830

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

参与评论您还未登录，请先登录后发表或查看评论

GraphRAG + Ollama 本地部署全攻略：避坑实战指南

musicml的博客

07-24

4830

▼最近直播超级多，预约保你有收获—1—为什么要对 GraphRAG 本地部署？微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。如果对 GrapRAG 还不太熟悉的同学，可以看...

源码解读 - 微软GraphRAG框架

weixin_40920183的博客

07-15

来源：奔跑的日月@知乎1. 引言这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这...

本地部署 Ollama+graphRAG 询问万人敬仰的韩天尊相关经历

2401_84204413的博客

08-23

1127

比较吃硬件性能，我的机器 CPU 是i9-13900K 的型号，结果针对小说前五章构建图谱和索引的过程竟然要半个小时才结束，是不能接受的。我看网上有人用 openai 的接口将小说跑完花了 10 美金，真的是成本太高了，我估计这也是微软将这个技术开源出来的原因，希望社区的力量来优化性能。从使用便捷性来说确实很方便，如果使用 openai 的接口其实只需要安装 graphrag 的库即可，我们操作麻烦是因为想通过 Ollama 调用本地的大模型和向量模型，从而要改配置和源代码。

graphRAG＋ollama离线环境本地化部署

shlhhy的博客

07-31

854

启动ollama服务，启动后可以打开网页：http://127.0.0.1:11434。下载安装包，与install.sh放在同一目录。下载install文件。

Spring AI + ollama + qwen 示例项目-流式、非流式输出

04-09

Spring AI + ollama + qwen 示例项目-流式、非流式输出 Spring AI与Ollama和Qwen的结合，是一个创新的示例项目，旨在展示如何在Spring框架中实现流式和非流式输出的集成。这个项目通过整合Ollama的数据处理能力和...

Ollama+WebUI+AnythingLLM构建个人/企业知识库

04-26

Ollama 是一个专门设计用于在本地环境搭建知识库的工具，它允许企业或个人在自己的服务器上运行，从而避免了敏感信息外泄的风险。通过这种方式，用户可以安全地存储、管理和检索内部知识，同时保持数据主权。Ollama ...

Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池)

09-27

在Linux 系统下面用C 语言实现的高并发服务器的代码，具体用到了Epoll，线程池，数据库连接池。具体可以看下连接http://blog.csdn.net/wuyuxing24/article/details/48758927

11-09

Ollama局域网内访问

Criss@陈磊

04-29

3021

我们平时面对的场景中，服务器往往并不能链接互联网，因此我们就不能用上面介绍的Ollama的命令一样，运行命令直接获从Ollama中央仓库下载一个模型，Ollama为我们提供了一个导入模型的办法。那么如果有些模型没有量化的模型的话，就需要自己动手了，这个主要是借助llama.cpp完成的，具体操作就不做详细说明了，需要的时候，在网上学习吧。选择我的电脑点击右键，选择属性后点击高级系统设置就可以看到环境变量的按钮了，点击进入后可以看到有上下两部分，上面是用户变量，下面是系统变量。重新载入配置，再通过。

ElasticSearch中使用bge-large-zh-v1.5进行向量检索（一）

zhujiahui622的专栏

04-12

6162

ElasticSearch中使用bge-large-zh-v1.5进行向量检索

GraphRAG源码学习

weixin_42264784的博客

08-09

942

与全局搜索不同的地方在于，Local 模式综合了nodes，community_reports，text_units，relationships，entities，covariates等多种源数据。调用了_map_response_single_batch函数：针对给定的社区报告的一部分（即一个。（3）然后将实体和实体嵌入用名字进行内连接至保留有嵌入的节点，以将嵌入信息附加到每个实体上。（3）然后将实体和实体嵌入用名字进行内连接至保留有嵌入的节点，以将嵌入信息附加到每个实体上。

Graphrag复现及问题定位

weixin_59679130的博客

07-23

668

还有一点注意事项，如果你已经在.env这里复制了密钥，则api_key: ${GRAPHRAG_API_KEY}这里需要这么写，因为有$这个符号，表明它是要找GRAPHRAG_API_KEY这个变量，2.从readme中找到[Read the docs](https://microsoft.github.io/graphrag)<br/>，进入这个网址后，点击Get Started。如果没有$这个符号，可以直接写密钥，此时为：api_key: {换成自己的API密钥}）

Graph RAG: 知识图谱结合 LLM 的检索增强

weixin_44324814的博客

10-10

2045

RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。

微软GraphRAG框架源码解读（LLMs）

瓦罗兰特顶级C位的博客

07-22

1805

这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统：GraphRAG。该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据，构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题，这一点恰好是常规RAG系统的短板。说实话之前一直有在关注这个框架，所以这两天花了点时间研究了一下源码，结合之前的一些技术文档，本文主要是记录GraphRA

微软开源graphrag怎么部署

07-26

微软开源的GraphRAG是一种基于图神经网络的推荐系统架构，它主要用于生成用户与物品之间的交互预测，并在推荐系统中应用。如果你想要部署Microsoft开源的GraphRAG模型，大致可以按照以下几个步骤来进行： ### 步骤一：环境准备 1. **安装Python**：确保你的计算机上已经安装了Python环境，推荐版本3.x系列。 2. **安装依赖库**：GraphRAG通常会依赖于一些特定的数据处理、科学计算和机器学习库如NumPy、Pandas、Scikit-Learn等。你可以通过pip命令来安装所需的依赖库： ```bash pip install numpy pandas scikit-learn tensorflow ``` 如果需要更复杂的图形计算能力，则还需要安装例如DGL或其他支持图神经网络的框架。 3. **获取源码**：从GitHub或者其他开源平台下载GraphRAG的源代码仓库到本地文件夹中。可以通过Git Clone操作来获取最新版本： ```bash git clone https://github.com/Microsoft/GraphRAG.git ``` ### 步骤二：数据准备 GraphRAG模型需要训练数据，这通常包括用户的历史交互记录和物品的相关信息。你需要将原始数据转换成适合GraphRAG使用的格式，比如图数据。这一步可能会涉及到数据清洗、特征提取以及构建图结构等工作。 ### 步骤三：模型训练 1. **加载数据**：使用已有的数据处理工具（例如pandas）读取并预处理数据。 2. **构建模型**：根据GraphRAG的设计文档或者说明文件，配置相应的模型参数并实例化模型。可能需要自定义一些组件，例如损失函数、优化器等。 3. **训练模型**：使用训练数据对模型进行迭代训练。监控训练过程中的性能指标，调整超参数以优化模型效果。 4. **评估模型**：在验证集或者测试集上评估模型的表现，确保模型的泛化能力。 ### 步骤四：部署模型 1. **选择部署环境**：确定模型运行的硬件环境，可以选择云端服务（如Azure、AWS等）、本地服务器或者容器化（如Docker）等方式。 2. **模型打包**：将经过训练的模型以及必要的依赖打包。如果是采用容器化部署，需要创建一个包含所有依赖和配置的Docker镜像。 3. **部署到生产环境**：根据所选部署环境的具体流程，将模型部署到生产环境中。如果是在云服务上部署，需要考虑资源管理和成本控制。 4. **监控与维护**：部署完成后，持续监控模型的在线表现，及时更新模型以适应新的数据趋势或业务需求。 ### 相关问题： 1. GraphRAG是否提供官方的教程或示例项目？ 2. 如何优化GraphRAG的训练效率和预测速度？ 3. 在实际应用中，如何整合GraphRAG与其他推荐系统组件（如召回层、过滤器）以提高整体性能？确保每一步都理解清楚并仔细执行，可以帮助你成功地部署和利用Microsoft开源的GraphRAG模型。