在Windows端安装ollama运行大模型

在Windows端安装ollama运行大模型

现在的LLM

在人工智能领域，部署和使用大语言模型（LLMs）已成为一种常见需求。Ollama 是一种工具，旨在简化在本地环境中安装和管理大语言模型的过程。如果你是一名软件工程师，并希望在 Windows 平台上安装和运行大语言模型，本文将提供详细的步骤指南，帮助你顺利完成这一任务。

什么是 Ollama？

Ollama 是一个工具和平台，旨在帮助用户轻松安装、配置和运行大语言模型。它提供了一种简便的方法来管理模型的下载、安装和环境配置，从而让用户能够专注于实际的应用开发和使用。

安装教程

1.下载ollama

在windows端ollama的下载十分的简单，首先打开ollama的官网点击Download按钮

 选择Windows端  Download for Windows (Preview)

2.安装ollama

 双击运行OllamaSetup.exe。点击install

等待安装完成

安装完成后，关闭窗口

在windows菜单旁边的搜索栏上搜索

cmd或命令提示符

打开后输入

ollama -v

如果输出的是

ollama version is x.x.x

说明你安装成功了！

3.使用ollama

浏览器打开ollama的模型仓库

https://ollama.com/library

随便选择一个模型作为你的LLM，注意要与你的电脑性能所匹配

可以参考这篇文章：Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】_llama3 硬件要求-CSDN博客

这里以Gemma2的2b为例

点击复制按钮

返回cmd窗口，左键点击窗口粘贴或是用Ctrl+v粘贴

我这里的代码是

ollama run gemma2:2b

输入后等待拉取完毕

注：如果出现

Error: pull model manifest

说明拉取失败了，检查你的防火墙和网络，或者再试一次，有时候服务器网络不太好

在拉取时的最后一段速度可能会特别慢，这个是正常现象，耐心等待好了

当最后显示

>>> Send a messgae (/? for help)

时恭喜你模型以及运行好了

注意

最后，如果你的模型回答生成非常慢，你应该考虑升级电脑配置，或换成更加轻量的模型

有时窗口字体会卡住或是乱码，这时大概率是窗口没有刷新导致的，选中窗口按几下backspace就行了。

当你关机后想重新找到模型可以在cmd窗口输入

ollama list

就可以找到你想要的模型

ollama run + 你的模型名

可以运行指定模型

剩下的操作自己看

1. 启动Ollama服务

ollama serve
2. 从模型文件创建模型

ollama create
3. 显示模型信息

ollama show
4. 运行模型

ollama run 模型名称
5. 从注册表中拉去模型

ollama pull 模型名称
6. 将模型推送到注册表

ollama push
7. 列出模型

ollama list
8. 复制模型

ollama cp
9. 删除模型

ollama rm 模型名称
10. 获取有关Ollama任何命令的帮助信息

ollama help