Mac x86 Ollama使用入门

Mac上可以本地运行大模型,作为Mac x86硬件,比较好的选择是Ollama,但有一些准备工作,需要明确一下,否则坑也会比较多。

1、下载地址: 官网

2、也可以通过安装Docker Desktop(下载: x86 Docker Desktop),再下载Docker官方的Ollama。

3、安装Ollama并运行命令:ollama run gemma

4、安装并运行Docker Desktop,再选择Ollama容器后下载运行,这个容器有仅包含客户端的版本,和直接在容器内运行Ollama的版本,请大家自行选择。

使用

1、在运行命令后,直接在命令行运行聊天。

2、或使用网页: http://localhost:8505

不管理用哪种方式,都需要运行Docker来启动后台网站服务。 

3、关于是否启用GPU加速,主要影响性能。

https://ollama.com/blog/ollama-is-now-available-as-an-official-docker-image

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值