树莓派安装ollama,运行后局域网访问

前序参考:树莓派4B部署及测试llamafile-CSDN博客

当前连接的是CYS_OrayBox的wifi

curl -fsSL https://ollama.com/install.sh | sh

  • ollama run qwen:4b

 

现在是 能在本机访问,我们需要局域网内能访问,

首先打开Ollama的配置文件

sudo nano /etc/systemd/system/ollama.service
在[Service]下面加上:

Environment="OLLAMA_HOST=0.0.0.0:11434"


其次配置防火墙,打开端口。Ollama的默认端口是11434,所以直接输入:

sudo ufw allow 11434/tcp

 reboot重启后就可以局域网访问:

 

 sudo apt install docker.io

 看一下docker有没有安装好:

docker run  -d -p 3000:8080 -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://0.0.0.0:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 ufw allow 3000/tcp

局域网还是无法访问open-webui的端口

可能跟我在树莓派上装的是ubuntu server系统有关系,没有图形显示,整了一下午了,没搞得定

或者使用这个方案(

接下来部署 Web 可视化聊天界面:

下载并安装 Node.js 工具:https://nodejs.org/zh-cn
下载ollama-webui工程代码:git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui
切换ollama-webui代码的目录:cd ollama-webui
设置 Node.js 工具包镜像源(下载提速):npm config set registry http://mirrors.cloud.tencent.com/npm/
安装 Node.js 依赖的工具包:npm install
最后,启动 Web 可视化界面:npm run dev

)未尝试,cited by  https://blog.csdn.net/obullxl/article/details/140336838

那就不装Open-webui了,直接局域网调用ollama的api吧,反正也不是为了图形显示。

执行如下程序:

curl http://192.168.1.127:11434/api/generate -d "{\"model\": \"qwen:4b\",\"prompt\": \"who are you?\",\"stream\":false}"

我用的模型是qwen:4b,同学们可以在这儿修改称自己的模型!

执行以下最简程序即可简单调用ollama的api,

import requests
# 定义请求数据
data = {
    "model": "qwen:4b",
    "prompt": "who are you?",
    "stream": False
}
# 定义请求的 URL
url = "http://192.168.1.127:11434/api/generate"

# 发送 POST 请求
response = requests.post(url, json=data)

# 检查响应状态码
if response.status_code == 200:
    # 处理响应内容
    print("API 响应成功:")
    print(response.text)
else:
    print(f"API 响应失败,状态码:{response.status_code}")

执行结果如下:

 若"stream":True,会以流式输出。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MC数据局

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值