【0踩坑、一步到位】ollama+dify+docker环境配置及安装,手把手教你搭建企业级个人知识库_dify+ollama

文章目录
    • 为什么要搭建本地个人知识库
    • 1、安装OLLAMA
    • 2、安装docker desktop
    • 3、下载Dify
为什么要搭建本地个人知识库

很多人有这样的需求:网上爆火的deepseek、chatgpt、QWen等AI大模型属于通用AI模型,但是想将AI应用到自己所在的行业,也就是训练一个行业专业的AI专家,模型微调操作复杂、需要大量数据支撑、需要好的硬件配置进行长时间的训练,因此搭建本地的个人知识库是一个很好的选择,适用于小规模数据集并且不需要额外的资源消耗,本地搭建知识库更符合企业安全可靠的需求。

知识库是一种 “检索 + 生成” 的方式,主要用于增强大模型的知识范围,但不会修改模型本身。
大致流程如下:

前排提示,文末有大模型AGI-CSDN独家资料包哦!

  • 存储数据:使用embeding嵌入模型,将文本数据(如文档、网页、数据库)等离散数据,转换成连续的向量表示,并存储进一个向量数据库(如 FAISS、Weaviate)。
  • 查询数据:当用户提问时,先在知识库中检索出相关内容。
  • 生成答案:将检索到的内容作为上下文传递给 LLM,让模型基于这些信息生成回答。

优点
✅ 即时更新:添加/修改知识库内容后,AI 可立即使用最新信息,无需重新训练模型。
✅ 数据安全:数据可控,不需要把敏感信息交给大模型训练。
✅ 成本低:不需要大量计算资源,只需搭建一个向量数据库即可。
✅ 适合小数据集:适用于 FAQ、企业文档查询、法律法规等场景。

在探索了多个如AnythingLLM、ragflow等知识库集成模型,最后发现Dify最好用,效果好、精确度高且不吃硬件配置,官方显示2核4G的配置即可使用,因此本文先从环境配置说起,配置好搭建个人知识库的环境。

1、安装OLLAMA

进入ollama官网下载:https://ollama.com/
在这里插入图片描述

  • 在下载文件夹打开cmd,设置安装路径,否则会下载到C盘:OllamaSetup.exe /DIR="D:\Ollama",然后一路点next

  • 在高级系统设置-环境变量-系统变量那里,新建一个OLLAMA_MODELS的变量,值为存放LLM模型的文件路径,否则会下载到C盘,新建一个OLLAMA_HOST的变量,值设为:11454,表示监听所有ip的11454端口,否则docker容器内无法访问到ollama在这里插入图片描述

  • 下载模型,输入命令:ollama run deepseek-r1下载7b大小的模型
    在这里插入图片描述
    在这里插入图片描述

模型下载完,系统变量配置完,在浏览器输入:localhostt:11454查看ollama是否在运行
在这里插入图片描述

2、安装docker desktop

进入docker官网下载windows桌面版: https://www.docker.com/

-如果要安装docker到其他盘,输入命令,如果C盘够大就直接运行安装程序一路安装即可:

start /w "" "Docker Desktop Installer.exe" install -accept-license --installation-dir="D:\Docker" --wsl-default-data-root="D:\\Docker\\data" --windows-containers-default-data-root="D:\Docker"


–installation-dir表示安装的docker存储路径
–wsl-default-data-root表示存储WLS的镜像、容器、卷等数据的目录
–windows-containers-default-data-root表示程序的默认路径

  • 如果是window,那就下载docker desktop,并且需要开启电脑的虚拟化,在控制面板-程序-启用或关闭windows功能这里,点击启用这两个选项,然后按照提示重启电脑
    在这里插入图片描述
    在这里插入图片描述

  • 打开cmd,输入:wsl --update把wsl2更新到最新版本,这个过程可能会很慢,有梯子的挂梯子,否则可能很慢而且会报错
    在这里插入图片描述

全部配置好后,就可以打开docker desktop界面,查看镜像保存位置是否是自己设置的:
在这里插入图片描述

3、下载Dify

前往Dify的github官网:https://github.com/langgenius/dify
选择使用git下载或者直接下载源码
接着按照官网的指引,进入docker文件夹,复制.env文件,使用compose命令进行编译:

cd dify
cd docker
cp .env.example .env
docker compose up -d


运行过程出错,可选择更换加速镜像、搭梯子等方式加速下载。
在这里插入图片描述

  • 运行完成后,在浏览器输入:localhost:80打开dify界面,输入邮箱密码用户名,第一次输入的为管理员
    在这里插入图片描述
  • 点击右上角头像,打开设置,配置下载的deepseek模型
    在这里插入图片描述
    在这里插入图片描述

点击添加模型配置模型,输入ollama list查看下载的模型,把模型信息和url信息填入,
在这里插入图片描述
在这里插入图片描述

输入ipconfig查看当前网络的ip,需要注意的是,如果连的是wifi并且选择DHCP动态获取ip的话,每次ip可能会改变,需要重新修改模型配置
在这里插入图片描述

至此,流程配置结束,选择创建一个应用,使用本地部署的模型进行对话

在这里插入图片描述
在这里插入图片描述
如遇到安装问题,可以在评论区提问呀!安装配置这些已经踩了太多坑


在这里插入图片描述

大模型岗位需求

大模型时代,企业对人才的需求变了,AIGC相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性

• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;

• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;

• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好,希望能够真正帮助到大家。

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴,可以点击下方链接免费领取【保证100%免费

点击领取 《AI大模型&人工智能&入门进阶学习资源包》*

内容包括:项目实战、面试招聘、源码解析、学习路线。

img

imgimgimgimg
如果大家想领取完整的学习路线及大模型学习资料包,可以扫下方二维码获取
在这里插入图片描述

👉2.大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。(篇幅有限,仅展示部分)

img

大模型教程

👉3.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(篇幅有限,仅展示部分,公众号内领取)

img

电子书

👉4.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(篇幅有限,仅展示部分,公众号内领取)

img

大模型面试

**因篇幅有限,仅展示部分资料,**有需要的小伙伴,可以点击下方链接免费领取【保证100%免费

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

**或扫描下方二维码领取 **

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员一粟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值