windows通过ollama快速部署大语言模型,CPU也可跑

首先在实际操作之前我们先了解一下什么是ollama:Ollama 是一个支持在本地运行大语言模型的工具,兼容 Windows、Linux 和 MacOS 操作系统。使用 Ollama,您仅需一行命令即可启动模型。

那么既然ollama是一个工具就必然是为我们解决掉了很多不必要的麻烦,我们只需要安装好ollama这个工具就可以轻松实现大语言模型的部署。

我们先来到这个网址下载ollama:https://ollama.com/download

点击windows,选择   Download for Windows (Preview)   进行下载

下载好安装包后直接双击安装,出现安装界面后点击install

等待安装完毕后打开原来下载ollama的地方选择 Models ,之后会出现很多个开源的模型,选择一个模型点击

那么我们以阿里的千问模型为例 ,选择qwen,在qwen大模型中存在不同大小的模型参数,也可以选择,也可以不选择保持默认,我们默认,复制命令

ollama run qwen

打开终端,将复制的命令行粘贴

 等待安装完成后发送问题并得到回答就是安装成功了

#下一期实现怎么使用openai WEBUI界面

  • 8
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值