使用Ollama + RAGFlow在Windows本地部署
1、Ollama的下载运行
1、Ollama环境配置
Ollama默认模型文件是存到C盘的,这一步是为了后续Ollama的模型安装可以放在我们自定义的路径里,不需要的可以跳过这一步骤。
(1)打开编辑系统环境变量(可以直接搜索找到,也可以“此电脑”右键属性——高级系统设置)
(2)点击“环境变量”,在下方的“系统变量”点击新建,新建如图系统变量后一路点总共三次确定结束(变量值可以自己选文件夹,变量名务必保持一致)
2、Ollama模型的下载安装
1、进入Ollama官网:https://ollama.com/,点击Download选择Windows下载,下载完成后直接双击运行安装就可以完成Ollama的安装
2、Models的下载安装
(1)点击Ollama官网首页右上角的“Models”
(2)进入如下Ollama模型库,选择自己要下载的模型(这里本人下载的是llama3.2:latest)
(3)复制运行模型的指令
(4)win+R输入cmd打开终端,运行刚刚复制的指令,Ollama开始下载模型(如果模型已下载就会直接运行模型),最终下载(运行)完成后即可开始问答,Ollama的下载安装就此完成。
2、RAGFlow的docker容器部署
1、docker desktop的下载安装
(1)进入docker官网:https://www.docker.com/,下载适合自己电脑的版本
(2)下载完成后双击installer完成安装
但是本人直接安装完的docker一直出现Engine stopped的提示,无法正常运行。
所以建议在运行docker安装前先检查自己电脑的hyper-v有没有正常打开,同时检查自己的WSL有没有升级到WSL2,确保Hyper-v打开和WSL升级到WSL2再运行docker installer,一般这样就能正常打开docker desktop了。
I、Hyper-v的打开
本人当时按这个教程(https://www.xitongzhijia.net/xtjc/20220102/237013.html)检查发现电脑根本没有Hyper-v
所以又先绕路安装了一下Hyper-v,参考博客:https://www.cnblogs.com/ZaraNet/p/11918807.html
II、WSL的升级
用管理员身份运行打开Power Shell,执行: wsl --update
系统就会开始自动升级到WSL2,升级完后可以执行: wsl -v 检查结果
Hyper-v和WSl2都正常的情况下运行刚刚下载的docker installer,“同意协议”后可以直接点击“continue without signing in”进入docker(当然也可以注册再登录,不过注册界面我总刷不出来),docker左下角显示“Engine running”代表正常
2、RAGFlow的拉取运行
git克隆仓库完成拉取
git clone https://github.com/infiniflow/ragflow.git
运行
cd ragflow/docker
docker compose up -d
完成后运行检查服务器状态
docker logs -f ragflow-server
有类似下图输出并且无报错即可
此时docker中也可以看到容器正常运行起来了
在浏览器网址栏输入localhost/knowledge即可访问RAGFlow开始使用