首先我们来探究下为什么要设计大模型+工作流
一、大模型+工作流的优势主要有四点：
1. 降低任务门槛：工作流可以将复杂任务分解成多个小任务，降低每个任务的复杂度，从而减少对提示词和大模型推理能力的依赖。这样可以提升大模型处理复杂任务的性能和容错能力。
2. 提升任务效率：工作流可以实现自动化处理，减少重复劳动和纠正。只需提供必要元素，工作流就可以直接输出结果，提高效率和稳定性。
3. 提高任务的一致性：工作流可以确保任务的执行是一致的，减少人为错误和偏差，提高任务的可靠性和质量。
4. 实现任务的可重复性：工作流可以实现任务的可重复性，减少重复劳动和开发时间，提高开发效率和生产力。
好了接下来我们开始正式实践。
二、安装docker desktop + wsl2
dockerdesktop下载地址：Docker Desktop: The #1 Containerization Tool for Developers | Docker
安装步骤就省略咯，可以百度。
推荐博客：0基础基于最新WSL2的Window Docker安装及搭建内网穿透保姆级教程_wsl 镜像网络-CSDN博客
三、安装ollama
1、安装ollama
下载ollama官方windows安装程序，下载后直接双击应用程序安装。
地址：Ollama
安装完成后进行更换ollama的存储位置
（设置环境变量--不明白就百度一下windows设置环境变量，这里就不过多讲解。）：
设置完成后重启电脑。
2、下载模型
ollama官网顶部Models，进入模型列表界面。
复制完成后进入cmd，并开始下载模型，将复制的模型 粘贴并回车。
上图为拉取进度，完成后会自动进行编译，然后本地cmd方式即可进行对话。
经过以上步骤本地大模型llama3以安装完成，接下来我们通过dockerdesktop进行搭建fastgpt。
四、安装部署Fastgpt
1、部署fastgpt到dockerdesktop
Fastgpt开源项目地址：https://github.com/labring/FastGPT
Fastgpt官方docker模式部署地址：Docker Compose 快速部署 | FastGPT
方法如下：
启动 dockerdesktop。
依次执行下面命令，创建 FastGPT 文件并复制docker-compose.yml和config.json的内容并创建两个一模一样的文件，执行完后目录下会有 2 个文件。
文件创建好并拷贝出git上对应的两个文件内容，并cmd进入当前文件夹执行代码：docker-compose up -d
然后等待安装完成（由于我电脑已经完成安装，就不演示了）。完成后dockerdesktop会显示如下信息：
文件夹内容：
dockerdesktop内容：
2、启动并配置one api模型：
访问本地部署好的one api：http://localhost:3001/channel
初始化的 用户名:root 密码：123456
进入后会叫修改密码之类的，完成后点击“渠道”，配置你的大语言模型。首次登录进来渠道是空的，需要自己添加自己的大模型。
那接下来我们怎么配置刚刚安装的本地大模型llama3呢？
第一步：先点击 底部“添加新的渠道”，然后选择“Ollama”。
第二步：配置本地llama3:8b大模型
查询本地ollama中的模型名称，填入模型的时候用到
完整的配置界面
完成后测试通过，下图中有时间返回，就说明模型链接成功。
oneapi还有最后一步，就是将模型加入到咱们的令牌中，点击顶部“令牌”导航进入。选默认的令牌信息，并添加llama3:laest 模型。
五、配置Fastgpt
接下来配置Fastgpt并使用咱们导入的本地大模型llama3来进行创建chat 或者 agent了。
1、配置fastgpt的模型
进入最开始的fastgpt文件夹。找到config.json,配置llama3模型，位置和代码如下：
完成配置后需要重新启动dockerdesktop里面的oneapi和fastgpt。
2、访问fastgpt
地址：http://localhost:3000/login，默认用户名：root 密码：1234
2、配置应用chat、agent等：
输入chat名字，选择类型。
选择一个大模型，配置到你创建的应用中。
完成模型选择后进行 发布，发布后即可在右变边的聊天框中输入信息，进行对话。
第一个聊天应用就搞定了。后续还有知识库上传和导入，导入完成后即可配置本地RAG检索agent配置了。
下期再写吧，感谢各位耐心观看。
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
