Ollama安装优化并通过Open WebUI实现网络访问(Windows/Linux)

Ollama是一款开源且专用于在本地运行LLM(大型语言模型)的软件,支持macOS,Linux,Windows多平台。使用它可以简化大模型在本地部署的流程,即使你是个新手,在看完这篇后也能轻松上手。同时因为它是开源且本地部署,可保证数据不会泄露。在本文中,我将介绍Ollama在Windows和Linux平台的安装,同时使用“Open WebUI”实现网络访问及文档识别,网络搜索功能。




Windows安装及使用教程

Ollama下载地址:Ollama Windows下载


更改模型存放位置:

首先下载Ollama,双击安装。

安装好后按Win + R 键输入sysdm.cpl后回车(或Win + Q 搜索“查看高级系统设置)打开窗口后切到“高级”,选择“环境变量”,在用户变量处找到“Path”双击进入

新建系统变量,名为“OLLAMA_MODELS”,变量值为你自定的模型存放位置(建议放置在C盘以外,容量大且读写速度快的盘)

保存后在系统托盘退出Ollama再启动即可。


 

 更改同时运行在内存中及并行处理请求的模型数量:

进入“环境变量”,新建系统变量

1.变量名为“OLLAMA_MAX_LOADED_MODELS”,变量值为你想要同时运行的模型数量(1,2…);

2.变量名为“OLLAMA_NUM_PARALLEL”,变量值为你想并行处理请求的数量。

更改请先确保自己的电脑配置足以支撑多个模型运行


更改API监听端口

进入“环境变量”,新建系统变量

变量名为“OLLAMA_HOST”,变量值为你想要它运行在哪个端口

Ollama为其他应用提供了API接口(如Open WebUI),可让应用通过IP+端口访问通过Ollama所下载的大模型。



Linux安装及使用教程

Ollama下载脚本:curl -fsSL https://ollama.com/install.sh | sh

安装好后,通过编辑器打开/etc/systemd/system/ollama.service

之后找到Environment,在右侧引号内添加所需(和Windows有点不一样,变量名+空格+等号+空格+变量值)


Linux更改API端口

Environment右侧添加“OLLAMA_HOST = 0.0.0.0:端口


应用设置

sudo systemctl daemon-reload

sudo systemctl restart ollama

source /etc/systemd/system/ollama.service

即可




安装Open WebUI实现网络访问



Windows

 Docker Desktop下载:官方地址,无法访问可用迅雷或x里云镜像站下载

安装Docker Desktop

安装后打开,点击“Settings”,找到“Docker Engline”,找到或添加

"registry-mirrors": {
        "https://docker.anyhub.us.kg",
        "https://dockerhub.jobcher.com",
        "https://dockerhub.icu",
    }

后应用并重启即可。

Win + R 打开 CMD

1.如Ollama在本机(未改端口),输入

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.Ollama在另外一台电脑,输入

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://电脑IP+Ollama API所在端口 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待安装完访问IP+端口即可



Linux

建议购买一台境外云服务器,通过它可将安装Ollama电脑的Ollama API端口穿透到服务器(Frp),再在服务器安装Docker,运行上述命令后访问服务器IP+端口即可实现随时随地远程访问。

境外可购买RackNerd服务器: 看这里

购买一台约10-20G硬盘,1核1G左右配置即可支持Open WebUI安装及运行(只需¥80左右 / 年),并且支持国内支付宝支付。

安装Docker(自行部署,云服务器均如此)

Ubuntu:

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

CentOS:

sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin

安装好后运行和Windows CMD一样的命令即可

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值