win部署本地大模型 2024年7月30日13:30:21
环境:ollama(便捷部署工具)+ llama3 8b版本
1.下载、安装 ollama
https://ollama.com/
2.修改安装路径
环境变量 或 注册表
这里选择注册表: win+r 输入 register
计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Ollama
以上路径,没有就创建一个。
再其下创建一个 ollama_models + “url” 地址。就是自定义模型安装的位置。
3.输入命令:
ollama run llama3
#此命令默认8b 适合个人单机部署,8G内存左右
至此已完成。