基于Ollama+DeepSeek+AnythingLLM轻松投喂打造本地大模型知识库（附完整教程、ollama+anythingLLM文件下载）

最新推荐文章于 2025-03-11 11:35:26 发布
最新推荐文章于 2025-03-11 11:35:26 发布
阅读量1.7k 收藏 22
点赞数 25
文章标签： 人工智能 LLM llama 程序员 deepseek AnythingLLM ollama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y525698136/article/details/145646768
版权

今天继续讲利用Ollama+DeepSeek+AnythingLLM轻松投喂打造本地大模型知识库

image-20250208183704501

Ollama

Ollama简介

Ollama 是一款提供本地部署和管理大模型的工具，可以轻松将不同的 AI 模型集成到本地环境中，并提供易于使用的界面和管理功能。你可以利用 Ollama 创建、启动和管理多个 AI 模型，并根据需要灵活配置不同的模型参数。

安装Ollama

（鉴于很多朋友无法下载ollama以及AnythingLLM，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）

​

安装成功，查看版本和启动服务

查看版本：      PS C:\Users\Administrator\Desktop> ollama -v   ollama version is 0.5.7      查看大模型   PS C:\Users\Administrator\Desktop> ollama list   NAME                     ID              SIZE      MODIFIED   llama3-cn-8b:latest      d710bb08d58c    6.6 GB    23 hours ago   llama2-chinese:latest    cee11d703eee    3.8 GB    42 hours ago   deepseek-r1:14b          ea35dfe18182    9.0 GB    2 days ago   qwen2.5:latest           845dbda0ea48    4.7 GB    2 days ago   deepseek-r1:7b           0a8c26691023    4.7 GB    2 days ago   llama3:latest            365c0bd3c000    4.7 GB    2 days ago

AnythingLLM

这是一个全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库，同时支持多用户管理并设置不同权限。

开源中文： https://github.com/Mintplex-Labs/anything-llm/blob/master/locales/README.zh-CN.md

产品概览

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。

AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程，同时增加了文档的容器化，工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

AnythingLLM特性

  • • 多用户实例支持和权限管理

  • • 全新的可嵌入式聊天小部件，适用于您的网站

  • • 支持多种文档类型（PDF、TXT、DOCX等）

  • • 通过简单的用户界面管理您的向量数据库中的文档

  • • 两种聊天模式：对话模式和查询模式。对话模式保留之前的问题和修改记录。查询模式用于对您的文档进行简单的问答。

  • • 聊天中的引用文献功能

  • • 完全适用于云部署。

  • • "自带 LLM "模型。

  • • 极其高效的成本节约措施，用于管理非常大的文档。您将永远不会为嵌入的大型文档或转录付费超过一次。比其他文档聊天机器人解决方案更省成本，降低 90%。

  • • 提供完整的开发者 API，用于自定义集成！

AnythingLLM下载与安装

下载： https://anythingllm.com/desktop

AnythingLLM也提供 macos、Window、Linux系统的下载

根据自己的系统下载，我这边下载Windows

image-20250208173023447

下载文件之后点击安装

image-20250208173941942

（鉴于很多朋友无法下载ollama以及AnythingLLM，这里给大家整理好了安装包，扫描领取即可↓↓↓↓）

​

AnythingLLM配置

AnythingLLM默认通过Ollama来使用LLama2 7B，Mistral 7B，Gemma 2B等模型，也可以调用OpenAI、Gemini、Mistral等大模型的API服务。

此前，我已经安装了Ollama，那么只要选择Ollama，输入调用的API接口URL，再选择此前已经下载的Gemma模型即可。

1.打开软件

get started

image-20250208174317674

2.选择模型

这里选择Ollama并且选择 deepseek-r1:7B,这里选择你的已经安装的模型。

然后再点击向右的箭头，下一步。

image-20250208174532563

3.下一步

点击下一步，这里不用配置。

image-20250208174755881

4.填邮箱，可跳过

image-20250208174832482

5.填入工作区名称

这里我随便取一个名字“产品计划”

image-20250208174948521

修改聊天提示

这里把英文的聊天提示改成中文否则AI会用英文回答你。

image-20250208175722804

生成文档

我这边用ai生成一个文档，写入本地成word，等下就让deepseek去学习这篇文章

你是一个互联网的产品经理
1.写一篇文章虚拟一个APP产品
2.这个产品集成了微信、微博、小红书、抖音、支付宝、Line、youtube等所有中外app的优点
3.文档不少于5000字
4.这个app的名字叫“宙斯app”，写一篇文档介绍它

文档名《宙斯APP：全能社交与支付平台的未来.docx》

image-20250208175239105

投喂知识

1.点击上传按钮

image-20250208175956673

2.上传文件

上传文件并且移动到工作区。

image-20250208180151740

遇到问题

Error:1 documents failed toadd.
The specified module couldnot be found.?\C:\ProgramFiles\AnythingLLM\resources\backend\node modules\onnxruntime-node\bin\napiv3\win32\x64\onnxruntime binding.node

image-20250208180304121

解决办法：

在设置，点击Embedder ， 设置 Ollama 使用

image-20250208182325588

3.再次导入文档

现在可以导入了，并且把图钉点上！

image-20250208182605126

一定要把图钉点上！一定要把图钉点上！一定要把图钉点上！

image-20250208182548315

对比使用

没有投喂文档的回答

image-20250208182955547

这是投喂了文档的回答。

image-20250208182838718

结束

通过将 Ollama、DeepSeek 和 AnythingLLM 三者结合，你可以轻松地构建一个本地大模型知识库。这种方法不仅能够帮助你高效地管理和组织信息，还能够提升你的工作效率，尤其是在处理海量文本、资料时，能够通过深度学习的能力快速找到最相关的内容。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
艾醒的博客
02-05 3311
最近deepseek模型可谓是非常火爆，尤其是deepseek R1的逻辑能力，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。在本系列中上一篇介绍了在本地部署deepseek R1的用法，本篇将介绍如何部署本地大模型的数据库。
通过Ollama+Deepseek+AnythingLLM安装部署私有化大模型，并投喂样本数据
weixin_48398799的博客
02-06 6960
近期，国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景，迅速成为 AI 领域的焦点。然而，随着用户数量的激增，DeepSeek 的在线服务时常面临访问压力，导致响应延迟甚至服务中断的情况。 幸运的是，DeepSeek 作为一款开源模型，为用户提供了本地部署的解决方案。通过将 DeepSeek 部署到本地终端，用户不仅可以摆脱网络依赖，还能随时随地享受流畅的 AI 体验。本地部署后，DeepSeek 无需联网即可直接运行，彻底解决了在线服务的延迟和宕机问题。而且安全更适合一些工作人员。
AnythingLLM安装包下载用于本地部署Deepseek
02-09
最进官网崩溃了，这是提前下好的AnythingLLMDesktop安装包
超easy，用 AnythingLLM+DeepSeek搭建个人AI 知识库（附教程）
最新发布
DEVELOPERAA的博客
03-11 1895
今天给大家推荐一个 “懒人神器”——AnythingLLM。有了它，把电脑里的文档（不管是 PDF、Word，还是代码文件）变成能聊天的知识库，就像把文件拖进文件夹一样轻松！
AnythingLLM 下载安装
qq_34446614的博客
02-09 3412
专为企业级用户和个人开发者设计，支持完全自主控制 AI 模型的部署、训练和交互。适用人群：需处理敏感数据的企业/科研机构/技术极客。
AnythingLLM下载链接
phpxt的博客
02-12 473
https://anythingllm.com/desktop
AnythingLLM 项目下载及安装教程
gitblog_01273的博客
10-18 1万+
AnythingLLM 项目下载及安装教程 anything-llm 为开源和闭源的大型语言模型（LLMs）、嵌入器和向量数据库提供开源的ChatGPT体验。在一个应用中提供无限的文档、消息和并发用户，以及权限管理。 项目地址: ...
anythingllm下载地址
学亮编程手记
02-21 287
下载完毕后，双击运行即可。
DeepSeek+AnythingLLM打造自己大模型知识库
iNeuOS工业互联网
02-06 1791
有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库，可以试着让deepseek成为每个角色的助手，例如工艺的、信息化的、设备的、电气的等角色，让deepseek成为自己，再不断的迭代它。deepseek扮演AI助手的角色，应用越来越发挥出来应有的价值。
Mac本地化部署deepseek+Ollama+Page Assist+AnythingLLM
YForsyth的博客
02-07 4231
问题-->>AnythingLLM-->>Ollama-->>调用deepseek大语言模型-->>读取向量数据库LanceDB的内容-->>deepseek转换成通俗易懂的文字描述-->>Ollama-->>通过AnythingLLM聊天界面展示-->>答案。文档-->>上传至AnythingLLM-->>通过Ollama-->>调用Nomic Embed Text向量模型进行向量化转换转-->>Ollama-->>AnythingLLM-->>存储到本地的向量数据库LanceDB。
AnythingLLM安装包-下载链接.txt
02-12
AnythingLLM安装包_下载链接
AnythingLLM安装包下载+CUDA安装包下载地址，cuda让GPU性能最大化，搭建Ddeepseek知识库
02-23
AnythingLLM安装包下载+CUDA安装包下载地址，搭建Ddeepseek知识库 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama3、gemma 和 qwen。 它提供命令行界面 (CLI) 用于安装、模型管理和交互。 您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。 【语义熔炉网】提供技术支持
AnythingLLMDesktop.exe
02-09
AnythingLLMDesktop.exe AnythingLLM安装文件。AnythingLLM‌是一个全栈的AI聊天系统，支持本地和云端部署，能够与多种大语言模型（LLM）和向量数据库兼容，适用于构建私有知识库和智能问答系统。它由Mintplex Labs Inc.开发，具有开源和可定制的特性，适合个人和企业使用。可以用于部署deepseek。
spring ai整合ollama anythingllm
09-11
spring ai整合ollama anythingllm
AnythingLLM
AI工程化、开源分享、文档翻译、代码笔记
08-04 8841
是一个全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。AnythingLLM将您的文档划分为称为。
本地大模型7：AnythingLLM的下载使用——本地大模型接入知识库
热门推荐
weixin_74825941的博客
10-27 1万+
键盘win+R->输入cmd，回车->输入ollama serve，回车点击前往官网，选择适合自己的操作系统下载，这里是windows，下载好后双击安装，修改路径即可，安装过程可能需要几分钟。下载成功安装
AnyThinkLLM 中文版下载指南
m0_72177915的博客
02-23 867
对于希望获取并安装 AnyThinkLLM 的中文版本的用户而言，操作流程涉及几个重要环节。值得注意的是，在提供的资料中并未直接提及名为 “AnyThinkLLM” 的软件；相反，存在一个称为 AnythingLLM 的项目，这可能是所指的对象3。
Linux安装AnythingLLM_3
m0_60657960的博客
10-04 1万+
1. AnythingLLM 简介AnythingLLM 是 Mintplex Labs 开发的一款可以与任何内容聊天的私人ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。AnythingLLM 支持多种文档类型（PDF、TXT、DOCX等），具有对话和查询两种聊天模式。
DeepSeek本地部署+AnythingLLM搭建个人知识库，真香？（附完整教程、ollama+anythingLLM文件下载）
Y525698136的博客
02-15 2868
DeepSeek本地部署+AnythingLLM搭建个人知识库，真香？（附完整教程、ollama+anythingLLM文件下载）
Deepseek本地化部署和投喂
02-13
### DeepSeek 本地化部署教程 #### 准备工作 为了顺利进行DeepSeek的本地化部署，需先准备好所需的软件环境和硬件资源。确保计算机配置满足最低要求，并安装必要的依赖库[^2]。 #### 安装过程概述 整个安装流程分为四个主要部分： 1. **下载并安装Ollama或AnythingLLM** - 访问官方网站获取最新版本的应用程序包。 - 按照官方文档指示完成应用程序的安装设置[^4]。 2. **准备DeepSeek模型文件** - 获取预训练好的DeepSeek模型权重文件。 - 将其放置于指定目录下以便后续加载使用[^3]。 3. **启动服务端口监听** - 打开命令行工具执行相应脚本开启API接口。 - 配置防火墙规则允许外部访问（可选）。 4. **验证部署成功与否** - 浏览器输入`http://localhost:8080`测试页面响应情况。 - 或者通过编程方式调用RESTful API接口发送请求检验功能正常运行状态。 ```bash # 启动服务器实例示例代码 python app.py --host=0.0.0.0 --port=8080 ``` --- ### 数据投喂方法 对于希望进一步定制化的用户来说，向已有的DeepSeek框架内注入新的语料是非常重要的环节之一。具体操作如下所示： - 收集整理好待处理的数据集，建议采用JSON格式存储问答对形式的内容； - 修改源码中的数据读取路径指向新创建的数据文件位置； - 对新增加的知识点做适当标注便于后期检索利用； - 使用内置函数重新训练微调现有参数直至达到满意效果为止； ```json [ {"question": "你好吗？", "answer": "我很好"}, {"question": "今天天气怎么样?", "answer":"晴朗"} ] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值