vllm 推理vlm多模态大模型 InternVL使用案例；openai、requests接口使用

已于 2024-08-14 13:56:13 修改
阅读量1.2k 收藏
点赞数
分类专栏： 深度学习 多模态 文章标签： vlm 多模态推理 多模态部署 大模型
于 2024-08-10 15:32:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/141091372
版权

参考：
支持模型
https://docs.vllm.ai/en/latest/models/supported_models.html

在这里插入图片描述

模型要升级到这：
在这里插入图片描述
在这里插入图片描述
torch-2.4.0
triton-3.0.0

部署：

CUDA_VISIBLE_DEVICES=1 vllm serve  /ai/InternVL2-4B --host 1**
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
AGI
09-26 5407
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-06 1万+
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出
vLLM代码推理Qwen2-VL多模态大模型(远程服务器V100解决方案，无需UI)
幸福回头的博客
03-05 380
由于近期代码微调以及测试都是在远程服务器上，因此LLamafactory-cli webui 以及vLLM的ui均无法使用，因此不断寻求解决方案，我提供一个解决方案，LLamafactory微调完成的模型需要合并为一个完整模型后再使用vLLM进行代码推理测试微调模型的结果。由于chat启动的终端互动模式均无法上传图像进行交互，因此需要代码或者参数来上传图像进行理解。这个链接里有vLLM支持的多模态大模型不同的函数对prompt的处理。
vLLM 部署 InternVL2_5
DeepHao'Blog
03-27 593
模型下载的渠道很多，这里使用 modelscope 进行下载，等，简单部署命令如下，默认使用。中给定了初始化的超参数，例如。可以看到各种路由信息。
vLLM推理部署Qwen2.5
小森的博客
10-28 6281
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
使用小尺寸大模型和 Dify 清洗数据：Qwen 2.5 7B
折腾技术
09-30 1622
本篇文章，我们聊聊如何使用最近发布的 Qwen 2.5 7B 模型来做日常低成本的数据清理工作。
【大模型实战篇】大模型GPU推理测试（Qwen2.5-7B为例）以及Qwen2.5存在的幻觉问题发现
源泉的小广场
09-23 5124
大模型推理、大模型、推理、Qwen2.5-7B、模型精度、显存资源、显存预估、显卡监控、大模型推理幻觉、modelscope、国产huggingface、GPU推理、transformers升级
部署Qwen2.5-7b大模型详解
猛犸象
10-17 1万+
部署Qwen2.5-7b大模型详解
【LLM】在PAI-DSW上使用 vLLM + Open-WebUI 部署Qwen2.5
DaveBraid的博客
09-23 5252
最近在玩LLM，听闻PAI-DSW有三个月免费试用，试了一下感觉还不错，就是有一些学习成本。刚通过vllm+open-webui成功部署了Qwen2.5-7B-Instruct，也是摸索了一段时间，记录一下以便需要使用同样方案的朋友们节省时间，迅速上手。简便起见，本文所有安装均使用pip工具，不使用docker。
『大模型笔记』视觉语言模型解释
AI新视界
04-16 2110
视觉语言模型是指能够从图像和文本中学习的多模态模型。这类模型属于生成模型，能够接收图像和文本输入，并产生文本输出。大型视觉语言模型具备优秀的零样本能力，能够广泛适应多种图像类型，如文档、网页等，并且表现出良好的泛化性。应用场景包括图像聊天、图像识别指导、视觉问答、文档理解和图像描述等。部分视觉语言模型还能识别图像中的空间属性，例如，在被要求检测或分割特定对象时，能够输出边界框或分割蒙版，或定位不同实体并回答关于它们的相对或绝对位置的问题。
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1483
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
Qwen2.5-7B大模型微调记录
黄钢的博客
11-26 4935
研究需要，需要搞一个大模型出来，没有太多的时间自己训练，准备用现成的开源大模型，然后结合研究方向进行微调前前后后折腾大半个月，总算做完了第一个微调的大模型，模型基于阿里的千问2.5大模型，然后微调的训练集是一些法律相关的问题记录一下流程。
【人工智能】qwen2.5-7b 部署推理
静待花开时，终有重逢日。
11-15 672
5.修改启动文件中的一些配置，然后运行官方的web_demo.py就可以访问了。2.可以克隆一下github官方demo。4.装完pytorch后可以验证一下。我直接附上一个依赖文件可以直接下载。环境Ubuntu20.04。1. 从魔搭下载模型权重。
vLLM部署Qwen2.5-Omni 提供API的详细步骤
最新发布
AngelCryToo的专栏
04-11 1452
的吞吐量（batch_size=32时）。如需进一步优化吞吐或延迟，可根据实际负载调整批处理参数。按照此方案部署后，Qwen2.5-Omni在A100上可实现。量化方式（awq/gptq）
vLLM部署多模态大模型
Guo_Python的博客
03-19 1133
vLLM 是一个高效的推理和部署框架，专为大规模语言模型（LLM）优化。它采用 PagedAttention 技术，显著提高 GPU 显存利用率，支持高吞吐量推理。vLLM 兼容 Hugging Face Transformers 和 OpenAI API 接口，便于集成现有模型。其高效的 KV 缓存管理减少重复计算，适用于流式生成、批量处理和多用户推理场景。vLLM 还支持 FlashAttention，可进一步提升推理速度。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-20 2万+
Qwen2.5-7B-Instruct集成vllm，流式输出
[大模型]TransNormerLLM-7B FastApi 部署调用
FL1623863129的博客
04-19 1103
TransNormerLLM 是一个基于线性注意力的 LLM，在准确性和效率方面均优于传统的基于 softmax 注意力的模型。它是在包含多达1.4 万亿个令牌的高质量语料库上进行训练的，TransNormerLLM 从之前的线性注意力架构 TransNormer 演变而来，进行了高级修改，包括 LRPE 位置嵌入、闪电注意力加速、新的门控和标准化机制（将在下文进行简要的介绍）。TransNormerLLM 在多项广受认可的中文、英文以及多语言通用和特定领域基准测试中取得了与其规模相当的竞争性表现。
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
xxue345678的博客
09-19 2万+
进行微调。在这里，我们将展示可直接运行的demo。
macos部署CogVLM2多模态开源大模型
10-07
在macOS上部署CogVLM2这样的多模态开源大模型通常需要一些步骤，因为Mac OS不是专门针对深度学习开发设计的操作系统，但它仍然可以支持通过安装必要的依赖库和工具来运行。以下是大致的步骤： 1. 安装Python和必要的环境：首先，确保你已经安装了Python 3.x，然后使用Conda创建一个新的虚拟环境，并激活它。安装PyTorch、transformers等用于处理大模型的库。 ```sh conda create -n cogvln_env python=3.8 conda activate cogvln_env pip install torch torchvision transformers requests ``` 2. 下载模型：访问CogVLM2的GitHub仓库（https://github.com/microsoft/CogVLM），克隆仓库并下载预训练模型。 3. 准备数据和配置文件：根据模型的文档，你需要相应的多模态数据集（如文本和图像的数据集）。同时，理解模型的配置文件结构并调整为适合你的硬件。 4. 配置CUDA：如果您的Macbook有GPU，确保已安装CUDA和cuDNN。如果不是必需的，你可以选择在CPU上运行模型，但性能会较低。 5. 编程示例：在Python环境中，使用model提供的API加载模型并运行推理。你可能需要编写或修改脚本来处理输入和输出。 ```python import cog_vlm # 加载模型 model = cog_vlm.CogVLMAgent.from_pretrained('your_model_path') # 输入文本和图片路径 inputs = {'text': '描述的文本', 'image': 'path_to_image'} outputs = model(inputs) # 处理输出结果 print(outputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值