Mac上可以本地运行大模型,作为Mac x86硬件,比较好的选择是Ollama,但有一些准备工作,需要明确一下,否则坑也会比较多。
1、下载地址: 官网
2、也可以通过安装Docker Desktop(下载: x86 Docker Desktop),再下载Docker官方的Ollama。
3、安装Ollama并运行命令:ollama run gemma
4、安装并运行Docker Desktop,再选择Ollama容器后下载运行,这个容器有仅包含客户端的版本,和直接在容器内运行Ollama的版本,请大家自行选择。
使用
1、在运行命令后,直接在命令行运行聊天。
2、或使用网页: http://localhost:8505
不管理用哪种方式,都需要运行Docker来启动后台网站服务。
3、关于是否启用GPU加速,主要影响性能。
https://ollama.com/blog/ollama-is-now-available-as-an-official-docker-image