以下是在本地部署 Llama 3 的一般步骤:
1. 安装 Ollama:
下载 Ollama:访问Ollama 官网下载安装包。
安装:在 Windows 下双击运行安装文件即可。注意,Windows 的安装默认不支持修改程序安装目录,默认安装后的目录为 C:\Users\username\AppData\Local\Programs\ollama ;默认安装的模型目录为 C:\Users\username\.ollama ;默认的配置文件目录为 C:\Users\username\AppData\Local\ollama 。
配置模型路径(可选):可以配置环境变量 ollama_models ,设置为指定的路径。
2. 下载 Llama 3 模型:
Llama 3 目前主要有 8b 和 70b 两个模型,分别代表 80 亿和 700 亿个训练参数。8b 模型一般 16GB 内存就可以运行得较为流畅,70b 模型则至少需要 64GB 内存,有 CPU 就可以跑,当然有 GPU 更好。打开终端,输入命令 ollama run llama3 默认安装 8b 模型,也可以使用 ollama run llama3:8b 来指定相应的模型,安装成功会有相应提示。
3. 运行和交互:
命令行交互:安装完成后,可在命令行中直接与模型进行交互,提出问题并查看回答。
结合其他界面(可选):为了获得更好的交互体验,可以使用如 OpenWebUI 等工具。通过 Docker 方式部署 OpenWebUI 的步骤如下:
安装 Docker:
下载 Docker。
启动微软 Hyper-V(打开“控制面板->程序->启用或关闭 Windows 功能”,勾选 Hyper-V 选项,重启电脑)。若没有 Hyper-V 选项,可以使用相关命令安装(具体命令可参考相关文档)。
安装 Docker,安装完成后一般不需要使用图形界面,用命令行操作即可。
切换国内镜像源,例如: {"registry-mirrors":["https://82m9ar63.mirror.aliyuncs.com","http://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn"],"builder":{"gc":{"defaultKeepStorage":"20gb","enabled":true}},"experimental":false,"features":{"buildkit":true}} 。
安装 OpenWebUI:通过命令 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 安装。浏览器输入 http://localhost:3000/ ,注册时邮箱可随便填写,例如: admin@111.com 。
Web 访问 Llama 3:注册登录后可选择之前部署好的 Llama 3:8b 模型,通过对话测试其能力。注意后台要运行着 ollama run llama3:8b 。
另外,还可以使用其他工具或框架来与部署好的 Llama 3 进行交互和应用开发,具体可根据实际需求进行探索和选择。如果你在部署过程中遇到问题,可以参考相关工具的官方文档或寻求社区的帮助。同时,注意要遵守相关的使用规定和法律法规。