Windows环境下部署本地大模型教程

自ChatGPT在2022年爆发式出圈以来，大模型对人类世界产生了重大影响，无论是在生产、工作、写作方面还是自动驾驶领域，大模型发挥了非常重要的作用。

现各大厂，无论是国内大厂还是国外大厂，都纷纷推出了自己的对话大模型供人们免费或付费使用。与此同时，开源大模型的关注度也越来越高。

为什么现在已经有很多可以在线使用的大模型了，我还要在本地部署使用大模型？很简单，我的电脑上有一块还不错的显卡，但是我玩游戏又不多，不想让这份空闲的资源浪费掉，向着“物尽其用”的目标努力，节约资源（doge）。

如果你也和我有一样的想法，或者你是一个喜欢“折腾”的人，又或者你真的有部署本地大模型的需求，都可以跟随这篇教程操作。

没有特殊需求，只想让大模型跑起来成为你的生产力的话，这份教程对大多数普通人来说足够了。

目录

一、下载ollama

二、下载大模型的GGUF文件

三、配置Modelfile文件

四、启动大模型

---

一、下载ollama

如果可以突破网络限制，那可以直接访问ollama的官网，下载Windows版本。如果无法突破网络限制，我把安装包上传到了我的我网盘，ollamasetup.zip ，提取码8vp0，自行下载。

下载之后打开ollamasetup.exe，点击“install”或者“安装”，静待安装完成即可。

二、下载大模型的GGUF文件

无网络限制那就访问huggingface的官方网站去下载。有网络限制的话，可以访问huggingface的镜像网站，可以访问hf-mirrors，网址HF-Mirror。

这里以安装阿里巴巴通义大模型为例进行操作。

不推荐使用微调成中文的大模型，如llama3中文版，体验很差。在此之前我在电脑上部署了llama3中文版8B的大模型，我不知道是出于什么原因，跑起来之后它给的答案真的很人工智障，相比之下7B的通义大模型表现很好。是和训练时用的语言有关吗？是不是说微调解决不了根本问题，只有确保训练时使用的是母语才能表现很出色？这个问题有待探索......

进入网站后，选择“models”：

接着搜索“qwen”：

对于个人电脑来说，7B就是最好的选择了，选择“Qwen/Qwen2-7B-Instruct-GGUF”。

如果你觉得这个过程太繁琐，可以直接点击这个链接（Qwen/Qwen2-7B-Instruct-GGUF at main (hf-mirror.com)）进入列表：

 

博主推荐使用q5_k_m版本，如果你是小白，无脑选q5_k_m就对了。当然也可以根据需求自行选择。

依次根据图中步骤下载就行了。

三、配置Modelfile文件

到这里，确保ollma服务在运行，系统托盘区有此图标，并且在powershell或者命令提示符中输入ollama出现以下界面说明安装成功并且服务正常运行中：

在当前用户目录中新建一个“Modelfile.txt”文件，在文件中输入以下字符串：

FROM 文件所在目录\qwen2-7b-instruct-q5_k_m.gguf

比如我下载好的gguf文件存放在F盘BigModels文件夹，那我就输入“FROM F:\BigModels\qwen2-7b-instruct-q5_k_m.gguf”然后保存即可。

一般来说，当前用户目录在“C:\Users\用户名”下，Modelfile.txt文件保存到这里。

现在打开powershell或者命令提示符，输入

ollama create qwen-2 -f Modelfile.txt

这里的“qwen-2”是我为本地大模型的命名，可以根据需要自行修改。

等待transferring的过程......

出现success，如下面的界面，说明大模型部署成功！

四、启动大模型

安装完成后，在powershell或者命令提示符中输入

ollama run 你自定义的大模型名称

 比如我命的名为qwen-2，那我就输入ollama run qwen-2就可以启动大模型了：