Ollama绝对是最简单的一种大模型部署方式,尽管该方式不支持function calling,但对于我们进行大模型的初步开发与探索已经足够。
本篇介绍了如何使用Ollama本地化部署qwen2:7b,以及进行Ollama的参数设置以及使用api调用qwen2的api服务的方法。
一、安装或者升级Ollama
运行qwen2需要Ollama版本 ollama>=0.1.42
可以通过ollama -v命令检查安装的版本。
我这里已经升级到0.1.44了满足条件。我之前是0.1.32,不满足版本要求的话,运行qwen2会显示乱码。
以下记录如何更新服务器上的Ollama版本。
官方的教程是直接使用命令:
curl -fsSL https://ollama.com/install.sh | sh
但实际执行的时候90%都会遇到网络问题不成功,只能用备用方案:
1、通过本地下载安装文件,再上传到服务器。
- 本地使用浏览器访问https://ollama.com/download/ollama-linux-amd64触发下载;
- 将下载的文件重命名为ollama;
- 通过winscp工具或者scp命令,将其上传至服务器目录:/usr/bin/
- 给文件赋予可执行权限:chmod +x /usr/bin/ollama
- 如果不能调到最新的Ollama,可以修改环境变量的读取顺序: