qwen2:7b本地化部署:Ollama更新、设置、api调用qwen2服务

Ollama绝对是最简单的一种大模型部署方式,尽管该方式不支持function calling,但对于我们进行大模型的初步开发与探索已经足够。

本篇介绍了如何使用Ollama本地化部署qwen2:7b,以及进行Ollama的参数设置以及使用api调用qwen2的api服务的方法。

一、安装或者升级Ollama

运行qwen2需要Ollama版本 ollama>=0.1.42

可以通过ollama -v命令检查安装的版本。

我这里已经升级到0.1.44了满足条件。我之前是0.1.32,不满足版本要求的话,运行qwen2会显示乱码。

以下记录如何更新服务器上的Ollama版本。

官方的教程是直接使用命令:

curl -fsSL https://ollama.com/install.sh | sh

但实际执行的时候90%都会遇到网络问题不成功,只能用备用方案:

1、通过本地下载安装文件,再上传到服务器。

  1. 本地使用浏览器访问https://ollama.com/download/ollama-linux-amd64触发下载;
  2. 将下载的文件重命名为ollama;
  3. 通过winscp工具或者scp命令,将其上传至服务器目录:/usr/bin/
  4. 给文件赋予可执行权限:chmod +x /usr/bin/ollama
  5. 如果不能调到最新的Ollama,可以修改环境变量的读取顺序:
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值