AI时代，手把手教你一键部署本地大模型(超简单)

本文链接：https://blog.csdn.net/2301_81888214/article/details/149222340

“ AI技术火热的当下，不管是作为技术人还是管理者，亦或是各行各业的从业人员，都应快速学会利用AI，而不应被AI时代抛弃”

本文将详细描述Windows系统如何利用开源大语言模型做本地部署，只需要一台个人电脑，但对于硬件有一定要求，各位量力而行，根据自己机器及行业需要选择不同大小的模型进行部署，若部署过程有任何问题可评论区留言

01 部署前环境准备

1.开启Windows虚拟化

打开控制面板->程序和功能->启用或关闭Windows功能

勾选“Hyper-V”选项及“适用于Linux的Windows子系统”

点击确定后需重启电脑

02安装Ollama

1.访问ollama官网下载客户端并安装

官网：https://ollama.com/

安装完成后不会有任何提示，可继续往下

2.安装大语言模型

1.快捷键win+R运行cmd窗口

2.运行ollama -v命令可查看是否安装成功及安装版本

3.进入ollama官网选择需要的模型，本次以Qwen模型为例，复制模型拉取命令，并在cmd窗口执行

恭喜！到这一步安装完成，已经可以在cmd窗口与大模型对话了

可以使用ollama list查看本地已部署模型

03安装OpenWebUI可视化窗口

到这一步还没完，我们需要安装一个可视化页面方便与大模型交互，此处选择OpenWebUI插件

1.下载并安装Docker Desktop

访问Docker网站并下载：https://docker.github.net.cn/desktop/install/windows-install/

2.进入DockerDesktop应用并安装组件

左下角显示Engine running即为运行成功

进入PowerShell运行命令安装OpenWebUI

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成在DockerDesktop会有以下信息

浏览器访问localhost:3000，注册一个账号，登入后即可开始与大模型对话了

04配置局域网访问

第三步完成的小伙伴，已经可以在本地正常使用大模型了，但如果想要在本地局域网任意一台机器访问大模型，还需要继续往下看

首先我们需要配置Ollama的环境变量

ollama环境变量说明：

环境变量	功能说明	默认值/示例
OLLAMA_HOST	设置API服务监听地址与端口，0.0.0.0表示允许所有IP访问	0.0.0.0:11434
OLLAMA_ORIGINS	允许跨域请求的域名列表，*为通配符	*
OLLAMA_MODELS	自定义模型存储路径，避免占用系统盘空间	D:\ollama\models
OLLAMA_KEEP_ALIVE	控制模型在内存中的保留时间，减少重复加载开销	24h
OLLAMA_NUM_PARALLEL	并行处理请求数，提升高并发场景下的吞吐量	2
OLLAMA_DEBUG	启用调试日志，排查服务异常	1
OLLAMA_GPU_OVERHEAD	扩展显存不足时，利用RAM/VRAM混合加载大模型（需手动计算显存值）	81920000000（80GB）