【论文小记】Qwen-VL

已于 2024-01-23 20:44:49 修改
阅读量675 收藏 10
点赞数 7
文章标签： 语言模型 机器学习
于 2024-01-23 20:43:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30504647/article/details/135787083
版权

论文地址：https://arxiv.org/pdf/2308.12966.pdf

以下仅为个人理解，请以原文为准

在这里插入图片描述
在这里插入图片描述

该文为阿里的 Qwen 系列的视觉拓展。
下面简述与LLAVA 或 Mini-GPT4 的几个主要不同点。

  1. 在pretraining（训练的第一小步）阶段，更新了ViT， LLAVA和Mini-GPT4未更新 ViT
  2. 大语言基座为阿里家的Qwen， 非 LLaMA 或 Vicuna
  3. 图像token与文本token的对齐方式不同；
    • Qwen-VL 加入Learnable Query Embeds 与图像token做Cross Attension;
    • Mini-GPT4 为线性映射，
    • LLaVA v1.5 为两层全连接， Linear | GELU | Linear
Cocolada
关注
  • 7
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Qwen-VL:A versatile vision-language model for understanding,localization,text reading and beyond
liguandong
10-10 885
大语言模型：QWen-7B；在这个阶段，冻结了大语言模型，只优化视觉编码器和VL adapter，输入图像被调整为224x224，训练目标是最小化文本token的交叉熵，adamw，余弦学习率，最大lr=2e-4，最小lr=1e-6，训练过程中，图像-文本对的bs=30720，第一阶段预训练总共50000步，大约消耗了15亿图像-文本对样本和5000亿个图像-文本token。预训练使用了一个大规模的，弱标注，通过网络爬取的图像-文本对数据集，清洗之后保留14亿数据，其中77.3%为英文，22.7%为中文。
Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等
pku_langzi的博客
09-21 2528
阿里的多模态大模型，以千问为基础，加入视觉理解，定位，对话，OCR等能力，并支持中英双语，在众多多模态评测基准上超过InstructBLIP等对比方法。
Qwen-VL大模型LoRA微调、融合及部署
songyang66的博客
07-19 1560
Qwen-VL大模型LoRA微调、融合及部署
多模态模型基础
谁怕平生太急
06-04 1340
ViT的位置编码：https://blog.csdn.net/qq_44166630/article/details/127429697QwenVL发布：https://qwenlm.github.io/zh/blog/qwen-vl/
VLM 系列——Qwen-VL 千问—— 论文解读
TigerZ*的博客
01-28 2082
Qwen-VL表示多任务训练后的模型，Qwen-VL-chat是基于Qwen-VL的指令调优（第三阶段SFT——监督微调）后的视觉语言聊天机器人。
【多模态】31、Qwen-VL | 一个开源的全能的视觉-语言多模态大模型
呆呆的猫的博客
05-15 1921
本文主要介绍 Qwen-VL 模型
Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等
最新发布
机器学习，深度学习
08-12 1077
在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。
探索Qwen-VL：一个全栈式的视觉语言模型开发框架
gitblog_00056的博客
04-25 446
探索Qwen-VL：一个全栈式的视觉语言模型开发框架 项目地址:https://gitcode.com/QwenLM/Qwen-VL 项目简介 Qwen-VL 是一款由QwenLM开发的全栈式视觉语言（Visual Language）处理框架，旨在为研究人员和开发者提供一个高效、易用且灵活的工具集，用于构建各种视觉与语言相关的应用，例如图像问答、视觉对话、场景理解等。该项目开源并持续更新，致力于推...
Qwen-VL 技术报告总结
Colin_xuan的博客
02-02 1600
权重分为 Qwen-VL && Qwen-VL-Chat，区别文档稍后介绍。
qwen-vl微调
liguandong
05-05 620
lora在V100上显存不够，微调不起来，在a800上可以。用swift库可以在V100上微调Qwen-vl。直接pip install -r requirments.txt。注意gcc要升级到9.3。
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 4020
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
阿里 通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载
weixin_42357472的博客
09-04 3326
参考： https://github.com/QwenLM/Qwen-7B https://github.com/QwenLM/Qwen-VL下载模型： https://huggingface.co/Qwen 下载好代码与模型后运行： 下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）
【中文视觉语言模型+本地部署 】23.08 阿里Qwen-VL：能对图片理解、定位物体、读取文字的视觉语言模型 (推理最低12G显存+)
进一寸有一寸的欢喜
03-26 7597
Qwen-VL-7B` 是阿里基于语言模型`Qwen-7B`(LLMs)，研发的**大规模视觉语言模型**（Large Vision Language Model, **LVLM**） > Qwen-VL-Chat = 大语言模型(Qwen-7B) + 视觉图片特征编码器（Openclip's `ViT-bigG`） + 位置感知视觉语言适配器（可训练Adapter）+`约15亿`训练数据+`多轮训练`
Qwen-VL环境搭建&推理测试
zzq1989_的专栏
05-13 792
Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。这几天阿里的Qwen2.5大模型在大模型圈引起了轰动，号称地表最强中文大模型。前面几篇也写了QWen的微调等，视觉语言模型也写了一篇CogVLM，感兴趣的小伙伴可以移步。相比于目前其它开源LVLM使用的224分辨率，Qwen-VL是首个开源的448分辨率的LVLM模型。更高分辨率可以提升细粒度的文字识别、文档问答和检测框标注。天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；前面也写过一篇智谱AI的视觉大模型（
推荐开源项目：ComfyUI-Qwen-VL-API - 舒适的UI与强大的语义理解API
gitblog_00002的博客
04-07 649
推荐开源项目：ComfyUI-Qwen-VL-API - 舒适的UI与强大的语义理解API ComfyUI-Qwen-VL-APIQWen-VL-Plus & QWen-VL-Max in ComfyUI项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI-Qwen-VL-API 项目简介 是一个结合了优美用户界面（UI）和先进自然语言处理能力的开放源代码...
【机器学习】阿里Qwen-VL：基于FastAPI私有化部署你的第一个AI多模态大模型
人工智能领域博客
06-17 7635
本文首先在引言中强调了一下OpenAI兼容API的重要性，希望引起读者重视，其次介绍了Qwen-VL的原理与模型结构，最后简要讲了下FastAPI以及搭配组件，并基于FastAPI封装了OpenAI兼容API的Qwen-VL大模型服务端接口，并给出了客户端实现。本文内容在工作中非常实用，希望大家能有所收获并与我交流。期待您的关注+三连
目前最小的视觉语言大模型-qwen-vl大模型
weixin_42044992的博客
06-18 674
最小推理参数的视觉语言大模型（保证一定准确率为前提）
你一定不能错过的多模态大模型！阿里千问开源Qwen-VL！具备图文解读等能力
zengzizi的博客
04-11 1705
Qwen-VL的多语言视觉语言模型系列，基于Qwen-7B语言模型。该模型通过视觉编码器和位置感知的视觉语言适配器，赋予语言模型视觉理解能力。Qwen-VL采用了三阶段的训练流程，并在多个视觉语言理解基准测试中取得了领先的成绩。该模型支持多语言、多图像输入，具备细粒度的视觉理解能力。另外，通过指令调优，生成了交互式的Qwen-VL-Chat模型，在现实世界用户行为的评估中展现出了优异的表现。总体而言，Qwen-VL系列模型在视觉语言理解任务上取得了显著的成果，并在开源社区中具有领先的地位。
Qwen-Audio-Chat微调
05-10
Qwen-Audio-Chat微调是基于Qwen音频AI技术的一种应用场景，它可以通过微调Qwen模型，实现特定领域的音频智能交互。例如，将Qwen-Audio-Chat微调到医疗领域，可以实现医生与患者之间的智能语音交互，帮助医生快速准确...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值