Ollama局域网内访问

本文介绍了如何在Windows、MacOS和Linux上配置Ollama以允许局域网内的其他主机访问,并讲解了Ollama的常用命令和模型导入。设置关键环境变量OLLAMA_HOST和OLLAMA_ORIGINS,以及调整其他配置,可以实现跨域访问。在无法连接互联网的情况下,可以使用 GGUF 格式的量化模型进行导入。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Ollama的一些配置是通过环境变量控制的,那么无论是什么操作系统,都可以通过配置系统的环境变量或者通过设置临时的环境变量达到想要的结果,一些常用的环境变量如下:

  • OLLAMA_HOST:用来绑定OLLAMA的访问的IP和端口,这个其实很重要,用一些 Langchain、LLamaIndex等调用Ollama部署的模型的时候,都是通过这个配置的内容访问的。默认值“127.0.0.1:11434”,如果我们配置成“0.0.0.0:11434”,就可以让你局域网内的其他主机可以访问,但是要配合下面的环境变量一起使用。
  • OLLAMA_ORIGINS:这个是跨域源列表,说白了就是允许谁来访问,双引号中用英文都好分割。默认进本地可以访问,如果想让局域网内都可以访问,最好设置成“*”。
  • OLLAMA_MODELS:本地模型文件存储的位置,这个就按自己实际的模型位置设置,默认是存在当前用户目录下的.ollama/models或者/usr/share/ollama/.ollama/models
  • OLLAMA_KEEP_ALIVE:模型在现存中保持加载的持续时长,这个默认“5m”,按需加载或者释放显卡显存可以降低显卡的压力,但是会带来磁盘IO的增加。
  • OLLAMA_DEBUG:调试日志,默认是关闭的。如果设置成1&
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CrissChan

开心就好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值