论文地址:https://arxiv.org/pdf/2308.12966.pdf
以下仅为个人理解,请以原文为准
该文为阿里的 Qwen 系列的视觉拓展。
下面简述与LLAVA 或 Mini-GPT4 的几个主要不同点。
- 在pretraining(训练的第一小步)阶段,更新了ViT, LLAVA和Mini-GPT4未更新 ViT
- 大语言基座为阿里家的Qwen, 非 LLaMA 或 Vicuna
- 图像token与文本token的对齐方式不同;
- Qwen-VL 加入Learnable Query Embeds 与图像token做Cross Attension;
- Mini-GPT4 为线性映射,
- LLaVA v1.5 为两层全连接, Linear | GELU | Linear