【业余玩儿AI】Lobehub+Ollama 本地部署Qwen2_error: listen tcp 127.0.0.1:11434: bind: only one -CSDN博客

本文链接：https://blog.csdn.net/weixin_39980116/article/details/141203175

Lobehub+Ollama本地部署Qwen2

为什么要用Lobehub集成Ollama
官方指南
动手
小结
接下来
参考

为什么要用Lobehub集成Ollama

现在用的AI助手是AI0x0,它现在用UI的就是这个Lobehub,里面那个头像会动哎,好玩儿的很. 要整自己喜欢的助手,当然少不了有趣的灵魂!

官方指南

在Lobehub中使用Ollama
Lobehub与 Ollama 集成

动手

Ollama

之前已经装好, 本地也已经运行起来了, 有些系统变量按照上面官方指南设置好.步骤总体还是比较简单.

环境变量	描述	默认值	附加说明
OLLAMA_HOST	绑定的主机和端口	“127.0.0.1:11434”	设置 0.0.0.0: 端口号可以指定所有人访问特定端口
OLLAMA_ORIGINS	允许的跨域源列表，逗号分隔	仅本地访问	设置 “*” 可以避免 CORS 跨域错误，按需设置
OLLAMA_MODELS	模型存放的路径	“~/ollama/models” 或 “/usr/share/ollama/.ollama/models”	按需指定
OLLAMA_KEEP_ALIVE	模型在显存中保持加载的持续时间	“5m”	按需加载和释放显存可以有效降低显卡压力，但会增加硬盘读写
OLLAMA_DEBUG	设置为 1 以启用额外的调试日志	默认关闭

就上面这个表,我是从官网截图给AI0x0直接提取的,这个工具还是很好用的,感兴趣的大家可以百度下.
本地cmd窗口运行用到的指令

ollama list          #列出已经created的model
ollama run modelname #运行上面list里面出现的模型名称,就最左边那个

后台运行用到的指令

ollama serve         #会启动服务并监听11434

异常:Ollama serve: Error: listen tcp 127.0.0.1:11434: bind: Only one…

Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket
address (protocol/network address/port) is normally permitted.

执行ollama serve的时候会出现这个问题. 本质上就是端口已经被占用. 看了下其他帖子有说要查进程关上的,而且要禁止开机启动. 我试了几次,看了下ollama的log,发现这个ollama实际上启动就会启动server,所以再手工命令的时候的确是被占用了,但是是他自己占用的.
所以解决问题的方法就是:不用自己敲这个serve的命令,就让它自己开机启动,不是蛮好.…

Lobehub

这个之前没装上.开始装. github上面关于部署的部分,提了一堆快速部署的方法,可是我只认识Docker.
挺好的,认识且唯一认识, 不用比较和选择, 直接上.
唯一的缺点就是没装docker…没关系,装!

安装WSL

根据我的记忆,windows上面docker是依赖于WSL的. 看了一眼,WSL也没装.行吧~ 装WSL
打开控制面板,程序,增加和关闭windows功能,打开什么虚拟机监控程序平台,还有个适用于Linux的子系统.后面那个就是WSL.确定之后等待安装
在这里插入图片描述
这时候只是装了WSL. 要先给wsl升个级,然后为了正常工作还要装个linux的发行版.
先打补丁,看这里:下载 Linux 内核更新包,这个文件不大,装的很快.
不装直接执行下面的指令可能会报Error.
然后装发行版

wsl --install -d ubuntu

不想装ubuntu的可以自己查能装些啥

wsl --list --online

挑一个装上

安装Docker

这个直接去Docker官网下载安装就好了,一路默认确认就行. 需要改默认image路径的自己调整

部署Lobehub

我是直接用了官网的指令

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 lobehub/lobe-chat

异常: 3210被占用

这次应该不是docker已经运行了,毕竟是刚装的,刚启动,这个自己心里还是有点数的,但是也不深究,毕竟端口多的数不清,换个就好了. 左边是主机的port,右边是容器的port,主机的port改成8210,这个号码随意,大一点就行.

docker run -d -p 8210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 lobehub/lobe-chat

成功运行
然后浏览器访问127.0.0.1:8210,正常启动Lobehub

配置Lobehub

点击应用设置

先设置语言模型,服务地址

http://127.0.0.1:11434

选完之后下面有个连通性检查,点一下,正常应该是通的.
然后检查按钮上面有一个灰色的获取模型列表, 我这之前只装了qwen2-7B,它能自己识别出来,但是得点下下拉框选中.
在这里插入图片描述
其它系统助手里面默认是GPT4o的,我没管,然后默认助手那里要选下模型.退出设置.
随便聊聊上面还有个地方要修改

至此我举得该改的地方就都改了.
然后开始聊天.

异常, ollama API Key?

果然应该不会这么顺利,它出来个这么个窗口.
在这里插入图片描述

自己直接写个无意义的key不行,关上就又出现. 又拜读了ollama的readme和faq,一点线索都没有. 又全网搜, 我很久没有这么认真的看英文了,但是我还是没找到. 就在我晃神的时候,我发现那个图表,那不是OpenAI的么. 刚巧在这篇文章[1]看到了可以传入OpenAI的参数,整合了官方原来的指令
先删了原来的container, 然后重新运行

docker ps -a
docker stop containername # 这里得自己对照自己的写了
docker run -d -p 8210:3210 -e OPENAI_API_KEY=sk-xxxx -e ACCESS_CODE=lobe66 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 lobehub/lobe-chat

ollama也退了重新进. 重新操作还是没有解决问题.
然后在Lobehub的设置里面删除了聊天记录并恢复所有配置.然后又重新配置了一遍, 仔细的把所有的GPT的模型都换成了自己的.

正常运行

在这里插入图片描述

小结

开源项目的说明很多,对自学非常友好,尤其是我这种先动手后动脑的来说是非常友好的
自己部署的Lobehub聊天窗的头像不知道为啥换不了,还得再研究研究,不然聊天少了很多乐趣的哎
前天挑选的种子任务,本地部署Llama3.1,失败,原因是我部属的Llama3.1 8B是个脑残… 这里我还没想明白哪里出了错,欢迎大神们指点.
原本计划搞IPV6 公网访问的,域名也已经就绪了,但是发现IPV6不是很好搞到固定IP. 这个等过几天移动的小哥上门帮我换光猫的时候我再和他聊聊,看看他有没有高招. 就移动来说,IPV6的固定IP只在专线提供,县市级2M带宽专线一个月2kRMB.暂时先按下. 后面肯定能想到好办法解决.
另外就是现在这个qwen2 7b,稍微感觉了一下,包括翻译,中文理解,代码这些,感觉上还达不到我觉得可以在工作中使用的水平.等我再试试别的模型, 如果有好玩儿的我再发. AI0x0还是会继续用,这一笔人家的用心良苦就更体现出来了.
我毕竟也才接触,还是菜鸡,再深入研究后应该还有些更好的发现或者优化. 不急,慢慢来.