Qwen-VL 技术报告总结

WeiXuanLi1014

已于 2024-03-06 11:30:48 修改

阅读量1.6k

点赞数 19

分类专栏：多模态大模型文章标签：人工智能

于 2024-02-02 17:18:54 首次发布

本文链接：https://blog.csdn.net/Colin_xuan/article/details/135996226

版权

本文介绍了Qwen-VL的开源工作，包括权重Qwen-VL和Qwen-VL-Chat的区别。训练过程分为三个阶段，初始阶段以224X224分辨率专注视觉理解，第二阶段提升到448X448并加入多任务数据，第三阶段通过ChatML数据增强模型的指令跟随能力。各阶段训练目标、数据源和模型调整策略均有详细阐述。

摘要由CSDN通过智能技术生成

感谢如此优秀的开源工作,仓库链接 Qwen-VL

权重分为 Qwen-VL && Qwen-VL-Chat，区别文档稍后介绍

训练过程

在第一阶段中主要使用224X224分辨率训练，训练数据主要来源是公开数据集，经过清洗，数据总量大约是1.4B（中英混合）。训练目标是视觉语言和文本语言对齐。loss函数是交叉熵；训练过程：给定一个输入（例如图像or文本），预测整个词表中作为next token的概率（The language model, given an input (such as an image and some initial text), predicts the probability of each token in the vocabulary being the next token in the sequence.），实际标签转换为one-hot, 然后使用交叉熵损失函数计算两个的差（The actual distribution is represented by the true next token in the training data. In practice, this is often converted into a one-hot encoded vector, where the actual next token has a probability of 1, and