PC机使用ollama和Open-WebUI搭建本地类openai大模型问答

一、ollama和Open-WebUI简介

随着人工智能技术的飞速发展，大型语言模型（LLM）在各个领域的应用日益广泛。openai在国内用户使用上还有一定门槛，随着技术进步发展国内外开源项目也越来越广泛，部署并拥有自己的一个大模型问答是件很酷的事情，大模型部署在本地，也避免了问答数据泄露等问题。本文将使用开源技术Ollama和Open-WebUI教你轻松基于日常办公PC机部署一个自己私有的大模型问答系统。Ollama和Open-WebUI作为两款强大的工具，能够帮助用户在本地轻松部署和运行LLM。

二、运行环境

处理器 i5-1155G7 8c
机带 RAM 16.0 GB (15.8 GB 可用)
系统类型 版本 Windows 10 专业版 版本号 21H2

三、安装Ollama并下载模型

访问：https://www.ollama.com/download
选择windows版本下载Ollama安装包，并在电脑执行安装。

安装完成后，访问ollama官网进行模型的下载和安装。

打开win本机命令行执行命令：

ollama run qwen2.5

模型开始下载并自动安装执行，模型执行起来以后即可在命令行与其对话。

四、安装Open-WebUI并整合大模型开始问答

Open-WebUI使用docker方式进行部署安装，Docker运行环境可参考Windows系统安装Docker容器
Windows系统安装Open-WebUI，在命令行执行如下命令即可安装并启动Open-WebUI。

docker run -d -p 18080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

本机访问 http://localhost:18080/
复制注册登录之后即可访问页面问答：