浅谈人工智能之Windows：基于ollama进行本地化大模型部署

最新推荐文章于 2024-10-23 10:59:55 发布

奔波儿灞爱霸波尔奔

最新推荐文章于 2024-10-23 10:59:55 发布

阅读量1.8k

点赞数 34

分类专栏：人工智能文章标签：人工智能 windows

本文链接：https://blog.csdn.net/u012151594/article/details/141870665

版权

人工智能专栏收录该内容

26 篇文章 1 订阅

订阅专栏

浅谈人工智能之Windows：基于ollama进行本地化大模型部署

引言

随着人工智能技术的飞速发展，大型语言模型（LLMs）已经成为推动自然语言处理领域进步的关键力量。然而，传统的云部署方式可能带来数据隐私、成本以及访问速度等方面的挑战。为了应对这些难题，Ollama作为一个开源项目应运而生，它极大地简化了在本地环境部署和管理大型语言模型的过程。本文将详细介绍如何利用Ollama工具，在您的个人设备或私有服务器上部署大模型，实现数据的完全控制与高效的模型应用。

Ollama简介

Ollama是由Meta公司开源的一个命令行工具，旨在帮助开发者和研究者在本地计算机上轻松部署和运行大型语言模型。它支持多种知名模型，如Llama 3、Code Llama等，通过Docker容器化技术，用户无需关心复杂的环境配置，即可快速启动模型服务。

准备工作

其实从网上搜索到的资料来看，基于Ollama部署大模型其实很简单，总共就3个步骤：

第一步：下载Ollama
第二步：下载大模型
第三步：使用Ollama命令运行大模型
但是在实际的环境搭建中，仅仅上述步骤中会碰到各种各样的问题，在这里将遇到的问题一一给大家罗列，并且在网络受限的情况下，教大家如何解决。
Ollama环境搭建
第一步：进入Ollama进行对应的工具下载，官网地址如下：
ollama官网
第二步：我们可以在官方界面中直接下载Download进行下载

第三步：随后官网会根据你的操作系统自动让你自动对应系统版本

第四步：然后点击下载即可，如果网速好的情况下，就能够下载成功，但是我这边下载过程中经常出现如下错误

因此第一个问题出现：

下载超时，提示需要获取授权

问题解决如下：
第一步：登录Ollama对应的Github路径，地址如下，这里可以获取最新的Ollama版本：
ollama github地址
第二步：找到最新的版本，以我搭建的环境为例，目前Ollama最新版本是：v0.3.9，我们找到对应的Windows版本OllamaSetup.exe并且进行右键选择“复制链接地址”：
在这里插入图片描述

第三步：这步很关键，为了防止下载超时，加速下载文件，我们打开如下网站地址：
github加速网站

第四步：我们将上述复制的链接地址拷贝至打开的网站，例如我们的地址是：https://github.com/ollama/ollama/releases/download/v0.3.9/OllamaSetup.exe

在这里插入图片描述
第五步：此时发现，下载的文件会变快，然后待文件下载完成，双击OllamaSetup.exe进行安装，这里没有啥大的讲究，直接下一步安装即可。
第六步：OllamaSetup.exe环境变量设置，默认情况下我们按照好的OllamaSetup.exe的默认模型训练以后的路径会存放在：C:\Users\XXX.ollama路径下，但是由于我的C盘快满了，无法在该路径下进行放置，所以我们需要设置一个模型存放路径的环境变量。
第七步：右键“我的电脑”-属性-高级系统设置-高级-环境变量中，在系统环境变量点击新建：变量名字输入：OLLAMA_MODELS，变量值输入：D:\LLM\OllamaLLM\models（根据你实际需求进行设置）

在这里插入图片描述
第八步：设置完成以后进行保存退出，如果在设置的时候Ollama是开启的，请在任务栏右下角找到ollama图标，并且进行退出后再重新开启，请注意：Ollama是没有UI界面的，启动后只有这个图标。

至此，Ollama环境部署完成。

Ollama版本不匹配

建议一定要下载最新的Ollama版本，因为之前由于超时的问题没有解决，使得我在csdn上下载了一个比较低的版本v0.1.38，然后在部署完本地模型后运行模型的时候就出现如下问题

D:\LLM\qwen2>ollama run Qwen2-7B
Error: llama runner process has terminated: exit status 0xc0000409

该问题的主要原因就是版本比较老，无法进行兼容

大模型下载

由于网络限制，如果按照网上的教程进行Ollama大模型运行，命令如下：
ollama run qwen2:0.5b
运行完命令以后，你大概率会碰到如下问题：

/>ollama run qwen2:0.5b
pulling manifest
Error: pull model manifest: Get “https://registry.ollama.ai/v2/library/qwen2/manifests/0.5b”: tls: failed to verify certificate: x509: certificate signed by unknown authority

所有我们需要下载一个大模型，放到本地有进行处理后才能使用，因此本文教授大家如果下载模型，注意：ollama下载的模型需要的文件是以“.gguf”结尾，因为工作机配置有限，我们这里以qwen1_5-0_5b-chat-q2_k.gguf为例进行介绍
第一步：我们打开模型下载的网站，地址如下：
模型下载

第二步：我们在打开的网站上搜索“Qwen1.5-0.5B”，点击回车进行搜索
在这里插入图片描述
第三步：在跳出来的界面中，点击模型库

第四步：在跳出来的界面中，选择包含GGUF的模型库，如我们需要的qwen1_5-0_5b-chat模型库如下，点击对应的模型库进入模型下载界面

第五步：在跳出来的界面中，点击模型文件
在这里插入图片描述
第六步：在模型文件列表中，为了演示方便，我们下载一个比较小的模型，在对应的模型右侧点击下载：

至此，我们对应的大模型下载完成。

ollama模型创建

上述准备工作，我们已经准备了ollama和大模型，现在我们就准备本地将模型搭建起来
第一步：我们将新下载的模型放到一个目录下面，例如：D:\LLM\qwen1
在这里插入图片描述
第二步：我们新建一个Modelfile文件，并且将使用notepad++打开该文件，文件内容如下：

FROM qwen1_5-0_5b-chat-q2_k.gguf

输入完成以后进行保存，该文件内容跟你下载的大模型文件名称要一致哦，另外，你也可以添加一些参数，具体可参考如下网址：
千问模型设置
第三步：使用鼠标在刚才的路径：D:\LLM\qwen1下输入cmd命令
在这里插入图片描述
第四步：输入命令以后会跳出命令行窗口，我们在命令行窗口输入如下命令：

D:\LLM\qwen1>ollama create Qwen1 -f ./Modelfile

输入以后，我们可以看到如下内容

D:\LLM\qwen1>ollama create Qwen1 -f ./Modelfile
transferring model data 100%
using existing layer sha256:dafa51a44e4e9e3a96be7ad9232e3cc5bf819f90cc9b9f5ac5a848886977ecc1
using autodetected template chatml
using existing layer sha256:f02dd72bb2423204352eabc5637b44d79d17f109fdb510a7c51455892aa2d216
creating new layer sha256:21755018ac4e58739fdf5a28589d819b681e29666a77b776b60d4d3bb9df7607
writing manifest
success

当看到上述success时，我们可以看到我们的模型已经加载完成，然后大家是否还记得上述内容的模型路径设置，我们可以打开我们之前设置的模型放置的环境变量：D:\LLM\OllamaLLM\models，我们可以看到如下内容：
在这里插入图片描述
第五步：查看模型，我们使用如下命令查看模型列表