Windows环境下部署本地大模型教程

自ChatGPT在2022年爆发式出圈以来，大模型对人类世界产生了重大影响，无论是在生产、工作、写作方面还是自动驾驶领域，大模型发挥了非常重要的作用。

现各大厂，无论是国内大厂还是国外大厂，都纷纷推出了自己的对话大模型供人们免费或付费使用。与此同时，开源大模型的关注度也越来越高。

为什么现在已经有很多可以在线使用的大模型了，我还要在本地部署使用大模型？很简单，我的电脑上有一块还不错的显卡，但是我玩游戏又不多，不想让这份空闲的资源浪费掉，向着“物尽其用”的目标努力，节约资源（doge）。

如果你也和我有一样的想法，或者你是一个喜欢“折腾”的人，又或者你真的有部署本地大模型的需求，都可以跟随这篇教程操作。

没有特殊需求，只想让大模型跑起来成为你的生产力的话，这份教程对大多数普通人来说足够了。

目录

一、下载ollama

二、下载大模型的GGUF文件

三、配置Modelfile文件

四、启动大模型

---

一、下载ollama

如果可以突破网络限制，那可以直接访问ollama的官网，下载Windows版本。如果无法突破网络限制，我把安装包上传到了我的我网盘，ollamasetup.zip ，提取码8vp0，自行下载。

下载之后打开ollamasetup.exe，点击“install”或者“安装”，静待安装完成即可。