目录
1、Ollama 的下载配置 与 DeepSeek 的本地部署流程
2.2 在 IDEA 中进行创建 SpringAI 项目并调用 DS 模型
1、Ollama 的下载配置 与 DeepSeek 的本地部署流程
很多云平台都提供了一键部署大模型的功能,这里不再赘述(阿里云百炼平台、火山方舟-火山引擎等)
官网地址如下:
1.1 下载安装 Ollama
首先,我们需要下载一个Ollama的客户端,在官网提供了各种不同版本的Ollama,大家可以根据自己的需要下载
注意:
Ollama默认安装目录是C盘的用户目录,如果不希望安装在C盘的话(其实C盘如果足够大放C盘也没事),就不能直接双击安装了,需要通过命令行安装
在 OllamaSetup.exe 所在目录打开cmd命令行,然后命令如下:
OllamaSetup.exe /DIR=你要安装的目录位置
安装完成后,需要进行环境变量的配置:
OLLAMA_MODELS=你想要保存模型的目录
1.2 搜索模型并进行本地部署
Ollama 是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型,这里我们部署的是 DeepSeek R1 模型(我选择的是 7b,根据需求进行选择):
其中,Ollama 的命令很像 Docker 的,选择好对应的模型后,在控制台中进行运行命令:
ollama run deepseek-r1:7b
首次下载的话会有些慢,耐性等待即可
以下是本地下载部署完成后,进行对话的场景,ctrl + d 进行退出与 DeepSeek 的对话:
2、基于 SpringAI 调用 Ollama 模型
2.1 基于OpenAI 的接口规范(其他模型基本遵循)
目前大多数大模型都遵循 OpenAI 的接口规范,是基于Http协议的接口;因此请求路径、参数、返回值信息都是类似的,可能会有一些小的差别,具体需要查看大模型的官方API文档
以下是基于 Python 的代码示范:
# P