1.安装docker
安装docker-desktop
docker 配置:setting->Docker Engine
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"debug": false,
"experimental": false,
"features": {
"buildkit": true
},
"insecure-registries": [],
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn/"
]
}
2.安装oolama
*打开cmd拉取Ollama镜像命令 : docker pull ollama/ollama:latest
新建容器,端口设置11434与之后的chatbot-ollama保持一致
打开内置命令行输入ollama run llama2-chinese
自动拉取Llama 2-chinese模型
出现如上结果即为成功
3.安装chatbot或open-webui实现网页化
3.1安装chatbot-oolama
打开cmd 下载镜像
docker run -p 3000:3000 ghcr.io/ivanfioravanti/chatbot-ollama:main
新建容器直接启动,显示下图即为成功
打开链接http://localhost:3000 显示如下即成功。
3.2安装open-webui
open-webui github地址:GitHub - open-webui/open-webui:用于 LLM 的用户友好型 WebUI(以前称为 Ollama WebUI)
拉取镜像并创建容器:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
success后进入网址: http://localhost:3000/
第一次进入提示注册,输入邮箱及密码出现如下界面即为成功
4.添加图片识别模型llava
在ollama容器内输入ollama run llava
命令,即可自动拉取模型
模型自动识别到chatbot和open-webui中
5.更多模型
支持多种模型,每种模型有多个参数,运行7B参数模型需要至少8G内存,运行13B参数模型需要至少16G内存,运行33B参数模型需要至少32G内存。以下是几种模型的参数与模型大小,更多模型可查阅ollama官方文档。
https://github.com/ollama/ollama
6.内网穿透-cpolar
cpolar 官网下载地址 :download下载 - cpolar 极点云官网
选择windows版,直接安装。
注册免费套餐后登录
免费版为随机域名
点击左侧仪表盘的隧道管理——创建隧道,创建一个聊天机器人的公网地址隧道!
- 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
- 协议:选择http
- 本地地址:3000 (本地访问的端口)
- 域名类型:免费选择随机域名
- 地区:选择China
点击状态
复制域名,在浏览器输入网址即可
成功!!!
参考链接
- https://blog.csdn.net/weixin_63115236/article/details/136375479