Ollama通过gguf文件加载AI模型

#0 下载AI模型文件

首先需要准备好AI模型文件（.gguf），可以在 这里 下载到。

#1 下载并配置Ollama

1. 下载

准备好Ollama，可以从 ollama官网 下载

2. 创建Modelfile文件

下载完成后找到安装目录（可以在开始菜单右键其图标，选择“打开文件位置查看”），在其目录下新建一个“Modelfile”文件：

并在文件内写入

FROM "你的*.gguf文件位置"

3. 配置环境变量与移动程序位置 (C盘空间充足者可略过)

Ollama的软件和模型是默认装在C盘用户文件夹内的，如果C盘空间不够，可以将Ollama的整个目录移动到其它盘（快捷方式需要重新建）。

同样，Ollama加载模型文件时，会在其默认模型文件夹内创建与模型文件一样大的副本，所以需要将其从C盘移动到其他位置。

可以通过修改（创建）系统环境变量实现：

4. 导入模型文件到Ollama

打开cmd，cd到Ollama安装目录下,创建模型

cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置
ollama.exe create Model_1 # Model_1可以是你起的模型名称(应该是只允许A-Za-z0-9_)

然后一段漫长的等待……

只要结束后没有类似“[Error]”的字样，一般是已经配置成功了

#3 启动AI模型！

打开cmd，cd到Ollama安装目录下，并启动服务

（注意：启动服务后不要关闭窗口，因为服务正在运行，这样可以通过关闭服务来关闭正在运行的实例）

cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置
Ollama.exe serve # 启动服务

此时还没有启动AI模型，需要在另一个cmd窗口中输入以下命令来启动AI模型：

（注意：此操作将会把模型文件载入到内存中，如果模型文件非常大，内存可能会爆满卡死，请查看你的剩余内存与模型文件大小以评估是否可以打开AI模型！如果实在不行可以换小一点的模型）

启动模型的过程中可能会卡顿，请提前关闭其他占内存的程序后再启动！

cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置
ollama.exe run Model_1 # Model_1改成你的模型名称

等待其输出变成“Send a message”时就说明已经将模型加载到内存，可以与其对话了！

注意：对话时“ollama.exe”程序会消耗大量的CPU，所以可能会引起卡顿。另外回答的速度可能不会很快，这取决于你的电脑配置

#4 退出对话并关闭服务

可以在对话窗口中（就是那个有输出“Send a message”的窗口）输入

/bye

然后回车，就退出对话了

如果还想对话就不要关闭用于启动服务的cmd窗口（但一段时间后它也会自动释放内存，关闭模型）。如果不想对话了，就关闭用于启动服务的cmd窗口，就可以退出对话，释放内存。

另外，在模型输出过程中，如果想强制关闭也可以直接点击cmd右上方的叉来关闭对话，而且关闭后对话将停止，不会额外占用CPU

#5 其它的ollama命令

可以cd到ollama目录后输入：

ollama.exe -h

会输出一串帮助内容，如：

serve	用于启动ollama服务
create	用于创建一个AI模型
show	查看某个已创建的模型信息
run	启动模型
list	查看已导入的模型
ps	查看正在运行的模型
cp	复制某个模型
rm	删除某个模型
help	查看帮助

更多内容可以看官方文档或教程，在此不一一阐述。

#总结

通过ollama与gguf文件可以在电脑上运行一个属于自己的离线AI模型，比闭源模型更可以保护隐私信息不被泄露。另外，在自己的电脑上集成AI模型可以随时随地使用，不被网络环境限制

原创文章，自己一点一点摸索出来的。制作不易，感谢支持与采纳！