240912-设置WSL中的Ollama可在局域网访问

A. 最终效果

在这里插入图片描述

B. 设置Ollama(前提)

sudo vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_MODELS=/home/lgk/ollama/models"
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

C. 启动Ollama(关键)

  • 无效操作
ollama serve
  • 有效操作
OLLAMA_HOST=0.0.0.0:<端口> ollama serve
  • 失效分析
    在这里插入图片描述
  • 取消防火墙
禁用 WSL2 防火墙(或配置防火墙规则)

Windows 中的防火墙可能会阻止流量从 Windows 主机到 WSL2 的虚拟网络接口。你可以尝试通过以下步骤来暂时禁用防火墙以进行测试:

  1. 打开 PowerShell,以管理员身份运行以下命令:

    Set-NetFirewallProfile -Profile Domain,Public,Private -Enabled False
    
  2. 然后再次尝试使用 curl 访问 WSL2 中的服务:

    curl http://172.29.75.201:11434
    

    如果可以正常连接,那么你可以重新启用防火墙,并创建一条允许访问端口 11434 的规则。重新启用防火墙的命令是:

    Set-NetFirewallProfile -Profile Domain,Public,Private -Enabled True
    
重启防火墙

你可以通过以下步骤在 Windows 和 Linux 中重启防火墙:

在 Windows 中重启防火墙
  1. 打开 PowerShell命令提示符,以管理员身份运行。

  2. 运行以下命令来重启 Windows 防火墙:

    • 禁用防火墙

      Set-NetFirewallProfile -Profile Domain,Public,Private -Enabled False
      
    • 重新启用防火墙

      Set-NetFirewallProfile -Profile Domain,Public,Private -Enabled True
      
在 Linux(WSL2)中重启防火墙

如果你在 WSL2 中使用 ufw(Uncomplicated Firewall),可以通过以下命令管理防火墙:

  1. 以管理员权限运行以下命令来检查 ufw 是否安装:

    sudo ufw status
    
  2. 如果 ufw 没有启用或安装,首先启用它:

    sudo ufw enable
    
  3. 禁用 ufw

    sudo ufw disable
    
  4. 重新启用 ufw

    sudo ufw enable
    
检查防火墙状态
  • Windows:你可以使用以下命令检查防火墙是否已启用:

    Get-NetFirewallProfile -Profile Domain,Public,Private
    
  • Linux:运行以下命令检查 ufw 状态:

    sudo ufw status
    

这样你就可以在两种系统中重启防火墙了。

在这里插入图片描述

D. 参考文献

### 在 Windows 上安装和配置 Dify 与本地 Ollama #### 启用必要的 Windows 功能 为了顺利运行 Dify 和 Ollama,在 Windows 中需先启用一些功能。通过访问【控制面板】> 【程序】> 【启用或关闭 Windows 功能】,确保已勾选“适用于 Linux 的 Windows 子系统”、“虚拟机平台”,以及“远程差分压缩 API 支持”这些选项[^2]。 #### 安装 WSL2 及其相关组件 完成上述设置后,继续按照官方指南操作来获取最新版本的 WSL2 并安装所需的 Linux 发行版。这一步骤对于后续部署至关重要,因为许多现代 AI 工具依赖于 Unix 类操作系统环境下的特性支持。 #### 下载并启动 Ollama 大型预训练模型 根据需求选择合适的大型语言模型进行下载至本地机器上。此过程可能涉及特定命令或者图形界面工具的帮助,具体取决于所选用的产品形式。一旦成功加载完毕,则意味着可以在不联网的情况下利用该资源开展工作了。 #### 设置 Dify 连接至本地 Ollama 实例 当一切准备就绪之后,便可以着手调整 Dify 应用程序以便能够识别到刚刚建立起来的服务端点了。如果采用的是 Docker 方式来进行搭建的话,推荐使用局域网内的 IP 地址作为连接字符串的一部分;而对于那些基于原始代码构建的应用实例而言,“`http://localhost:11434`”通常是更为简便的选择[^3]。 #### 测试集成效果 最后但同样重要的一环就是验证整个系统的连通性和功能性。尝试发起一次简单的对话请求看看是否能正常收到回复消息吧! ```bash # 示例:测试API接口返回情况 curl -X POST http://<your_ollama_ip>:11434/api/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"prompt":"你好世界","max_tokens":50}' ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GuokLiu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值