vllm 推理vlm多模态大模型 InternVL使用案例;openai、requests接口使用

参考:
支持模型
https://docs.vllm.ai/en/latest/models/supported_models.html

在这里插入图片描述

模型要升级到这:
在这里插入图片描述
在这里插入图片描述
torch-2.4.0
triton-3.0.0

部署:

CUDA_VISIBLE_DEVICES=1 vllm serve  /ai/InternVL2-4B --host 1** 
在macOS上部署CogVLM2这样的多模态开源大模型通常需要一些步骤,因为Mac OS不是专门针对深度学习开发设计的操作系统,但它仍然可以支持通过安装必要的依赖库和工具来运行。以下是大致的步骤: 1. 安装Python和必要的环境:首先,确保你已经安装了Python 3.x,然后使用Conda创建一个新的虚拟环境,并激活它。安装PyTorch、transformers等用于处理大模型的库。 ```sh conda create -n cogvln_env python=3.8 conda activate cogvln_env pip install torch torchvision transformers requests ``` 2. 下载模型:访问CogVLM2的GitHub仓库(https://github.com/microsoft/CogVLM),克隆仓库并下载预训练模型。 3. 准备数据和配置文件:根据模型的文档,你需要相应的多模态数据集(如文本和图像的数据集)。同时,理解模型的配置文件结构并调整为适合你的硬件。 4. 配置CUDA:如果您的Macbook有GPU,确保已安装CUDA和cuDNN。如果不是必需的,你可以选择在CPU上运行模型,但性能会较低。 5. 编程示例:在Python环境中,使用model提供的API加载模型并运行推理。你可能需要编写或修改脚本来处理输入和输出。 ```python import cog_vlm # 加载模型 model = cog_vlm.CogVLMAgent.from_pretrained('your_model_path') # 输入文本和图片路径 inputs = {'text': '描述的文本', 'image': 'path_to_image'} outputs = model(inputs) # 处理输出结果 print(outputs) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值