Xinference使用之【VLLM模型】qwen2-vl-instruct运行步骤及异常问题解决

最新推荐文章于 2024-09-27 20:09:31 发布

Andy O‘Connor

最新推荐文章于 2024-09-27 20:09:31 发布

阅读量244

点赞数 2

分类专栏： Xinference运行大模型文章标签：语言模型知识图谱

本文链接：https://blog.csdn.net/weixin_38546915/article/details/142551558

版权

Xinference运行大模型专栏收录该内容

4 篇文章 0 订阅

订阅专栏

qwen2-vl-instruct运行步骤及异常问题解决

运行步骤
异常问题一

运行步骤

选择Launch Model->LANGUAGE MODELS，搜索qwen2-vl-instructVLLM模型，如下图所示：
搜索qwen2-vl-instruct VLLM模型
点击模型进入配置页面：

Model Engine 选择 Transformers
Model Format 选择 pytorch
Model Size   选择 7（根据电脑GPU性能选择，体量越大的对GPU的要求越高）
Quantization 选择 none
N-GPU        选择 1（根据自己电脑配置选择，不一定都是1）
Replica      选择 1

如下图所示：
qwen2-vl-instruct参数配置
点击左下角按钮，开始下载并运行qwen2-vl-instructVLLM模型，如下图所示：
qwen2-vl-instruct开始运行
qwen2-vl-instruct运行中
运行成功后自动跳转至Running Models

至此Xinference嵌入模型qwen2-vl-instruct运行成功！

异常问题一

异常问题描述

cannot import name 'Qwen2VLForConditionalGeneration' from 'transformers'

异常问题

异常问题排查

异常信息解读推测是：在transformers中不能引用Qwen2VLForConditionalGeneration，资料查询后发现了一个解决办法：https://github.com/QwenLM/Qwen2-VL/issues/83

异常问题处理

运行以下命令：

pip install --no-cache-dir git+https://github.com/huggingface/transformers@19e6e80e10118f855137b90740936c0b11ac397f

运行结果失败：

发现是超时异常，果断切换国内镜像再试一下：

pip install --no-cache-dir git+https://github.com/huggingface/transformers@19e6e80e10118f855137b90740936c0b11ac397f -i https://pypi.tuna.tsinghua.edu.cn/simple

运行结果成功：

安装成功后transformers的版本是4.45.0.dev0。