大模型实战—大模型web服务部署

最新推荐文章于 2024-09-25 10:49:30 发布
最新推荐文章于 2024-09-25 10:49:30 发布
阅读量398 收藏
点赞数
分类专栏： 大模型 文章标签： 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/138190110
版权
本文介绍了使用开源项目open-webui在Docker上部署大模型web服务的详细步骤。通过选择和下载模型，配置环境，解决旧版Docker问题，最终实现模型服务的本地运行。用户可以在网页上注册登录，选择已有的模型进行对话，还能上传文件让模型基于文件内容进行智能互动，如书籍内容总结，确保公司文件的安全性。
摘要由CSDN通过智能技术生成

大模型实战—大模型web服务部署

这里我们使用的是一个叫做open-webui的开源项目

Open WebUI Demo

目前这个项目在Github 上已经得到了比较高的star 数

image-20240317105716037

这个项目提供了多种部署方式，这里我们使用docker 进行部署，如果你的web 服务和你的模型服务在同一个节点上，可以使用下面的命令

docker run -d -p 3000:8080 --add-host=h
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猫猫姐
关注
专栏目录
订阅专栏
将深度学习模型部署为Web服务的方法
AI天才研究院
10-10 1468
人工智能领域迅速崛起，各大互联网公司纷纷上马AI项目。作为新一代技术的主要代表之一，深度学习技术正在不断发展壮大。对于深度学习模型的推广应用来说，如何将其部署到实际业务场景中是一个非常重要的问题。而Web开发技术正在成为企业应用开发的必备技能。因此，本文将分享一些常用的模型部署方法以及利用Web开发技术实现这些方法的具体方案。Artificial Intelligence（AI）：是指由计算机及其模拟智能行为所构成的人工智能系统的一门学科。
大模型提问中包括时间的实战方案
herosunly的博客
07-04 10万+
本文主要介绍了大模型提问中包括时间的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战方案
Ollama配置webui连接大预言模型
lldhsds的专栏
04-26 2522
默认ollama安装后，chat对话只有命令行界面，交互体验较差。借助open-webui可以通过web界面连接ollama，从而实现类似chatgpt式的web交互体验。使用 Docker 安装 Open WebUI 时，请确保在 Docker 命令中包含 -v open-webui:/app/backend/data，用于保存数据。点击右上角设置图标，打开设置窗口，如下图，输入型号标签（如llama2:7b, gemma:2b），点击右侧下载按钮，等待型号待下载。通过openwebUI下载。
Docker中访问宿主机：host.docker.internal
最新发布
qiy_icbc的博客
09-25 2121
host.docker.internal主要用于容器内部访问宿主机上的服务，而容器之间的通信通常通过Docker的网络配置和容器名/服务名来实现。
docker容器内访问宿主机的资源
leveretz的博客
11-14 2154
docker容器内访问宿主机的资源
Docker Desktop + Open WebUI + Ollama
hxj1213的博客
06-15 2591
打开网址进入Open WebUI在github的主页：docker run-d复制之后在命令行执行，下载镜像过程中不要点击窗口，可能会停止。安装过程比较漫长，有三个多G，耐心等待。以上表示安装完成，并且启动了容器，接下来我们可以命令查看，也可以图形化界面(Docker Desktop)查看：拉取的open-webui镜像：通过以上镜像启动的容器，映射端口是3000，我们可以通过该端口来访问open-webui在浏览器地址栏输入：http://localhost:3000。
大模型实战—通义千问大模型微调
05-26 6万+
这个参数仅针对 llama 类型的模型结构，默认勾选的是 q_proj 和 v_proj，具体的名词不容易理解，我就不多说了，可以简单的认为是对模型的理解能力进行优化，一般这两个就够了。当这个值较高时，适应新任务的能力会增强，但是对基础模型的影响会比较大，有过拟合的风险，尤其是在数据量有限的情况下。为了方便测试，我在云环境也创建了一个镜像，相关的环境都配置好了，可以直接使用几个国内开源的大语言模型，比如清华智谱的ChatGLM3-6B、零一万物的Yi-34B，还有最近阿里云开源的Qwen1.5-32B。
详解FastChat部署大模型API的实战教程
热门推荐
herosunly的博客
04-27 12万+
本文主要介绍了使用FastChat部署大模型API，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型文件下载 3. 运行API 3.1 一键启动 3.2 一键关闭 3.3 测试API 4. vllm API 4.1 一键启动 4.2 一键关闭 4.3 测试API
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 1152
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
大模型实战—个人AI大脑Khoj 本地部署
07-23 3万+
Khoj AI本地部署，了解如何在您自己的机器上自行托管Khoj
Docker下Open WebUI，Ollama的安装实践
Anakki的博客
05-09 1万+
Docker下Open WebUI，Ollama的安装实践
21-Docker-常用命令详解-docker run
小白的博客
06-25 2263
Docker-常用命令详解-docker run
添加记录到容器主机文件（--Add host）
shijin741231的博客
02-22 1274
翻译了官方文档：Add entries to container hosts file (--add-host)，并做了相应测试，对操作中遇到的问题做了说明。
【局域网内其他机器可以访问部署机】轻松搭建llama3Web 交互界面 - Ollama + Open WebUI
caoyongsheng的博客
04-22 3265
就运行起来ollama了，不放心可以用ollama serve查看一下。那么我们肯定还是希望有chat界面，ollama先执行，不要stop。默认注册的第一个用户是管理员。重新执行这句命令，就ok了。
谷歌 Gemma 安装教程
熊思雨的博客
03-09 3187
Gemma 是谷歌推出了全新的开源模型。Gemma 是免费的，模型权重也一并开源了，并且允许商用，支持安装在本地，即使了断网依然使用，另外和还可以适配不同配置的电脑，根据你的电脑的显卡，有不同的 AI 模型提供选择。Gemma 官网：https://ai.google.dev/gemma/这里使用的方式快速安装。Gemma 对显卡有一定的要求，显卡越好，执行的速度越快，Gemma 对英伟达（NVIDIA）做了专门的适配，在官网的主页就可以看到对应的介绍。
Gemini-GeminiPro的Minimal-Web-UI实现-附项目源码-优质大模型应用实战.zip
05-16
这个项目不仅提供了完整的源代码，而且是一个优质的大模型应用实战案例，非常适合开发者进行学习和实践。 首先，我们要了解Gemini和GeminiPro。Gemini通常指的是一个具有高级功能的AI模型，可能是专门设计用于对话...
全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
lythinking的博客
04-15 4795
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。若使用Hugging Face，需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用Ollama则更加简单。✨ AI算法工程师 | AIGC技术实践者 🚀🎵 知音难求，自我修炼亦艰。📚 吾生也有涯，而知也无涯。🌌 AIGC时代，立志成为超级个体：抓住前沿技术的机遇，与我们一起成为创新的超级个体。✉️ 回复“群聊”，就能和大家嗨聊！
使用 Ollama 和 Open WebUI 自托管 LLM 聊天机器人（无需 GPU）
lythinking的博客
06-08 2130
等，进一步支撑你的行动，以提升本文的帮助力。
【docker综合篇】关于我用docker搭建了6个应用服务的事
qq_34761385的博客
08-16 1370
最近一直在捣鼓docker，利用测试服务器，本着犯错就重来(重装系统)的大无畏精神，不断尝试，总结经验，然后在网上搜寻一些关于docker有关的服务镜像，并搭建起来。看着一个个服务在我的服务器跑起来，那种成功的喜悦真是一件值得让人高兴的事。总结一下，我成功运行的docker镜像服务觉得不错的有dnmp，kaillinux，Lsky Pro，shipyard，ollama，ward，vocechat,下面就跟随我一起来了解这些服务吧
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值