通义千问（qwen2:72b）本地化部署保姆级教程

1、qwen2:72b

1.下载

• •

1.1 文件大小为41G；1.2 下载过程很漫长从昨天早上10点一直持续到晚上20点大约10小时；1.3 下载过程随时可能随时超时中断，不过重新执行命令可以延续下载。

2.安装

2.1 安装后提醒Error:llama runner process hasterminated:error loading model:unableto allocate backend buffer网上查意思是当前电脑配置达不到要求。

2.2 忽略提醒重启ollama，可以正常运行，但是电脑卡爆了。

3.总结个人电脑72b版本就不好尝试了（考虑降低版本），网上查询的情况是GPU至少24G。

个人安装时，根据自己PC配置选择对应模型

2、安装qwen2:7b

2.1 安装Ollama工具

2.1.1 下载

官网：Ollama

Github：GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

2.1.2 安装

默认安装到C盘，无法修改安装目录。点击“Install”后，自动安装，安装完成后，安装框会自己关掉。这时就可以在程序中找到快捷方式。

2.1.3 修改默认模型存储位置

windows下

程序默认安装目录是：C:\Users\TianYu\AppData\Local\Programs\Ollama

模型默认目录：C:\Users\TianYu.ollama

可以通过设置环境变量 OLLA