黛玛日孜的博客

本文介绍了Janus-Pro模型在多模态理解任务和文本到图像生成任务上的表现，并与现有的方法进行了比较。此外，在GenEval和DPG-Bench等视觉生成基准测试中，Janus-Pro也表现出色，超过了其他统一模型和生成特定模型的表现。本文提出了一种改进的Janus模型，通过训练策略、数据和模型大小等方面的优化，提高了多模态理解和文本到图像指令跟随的能力。总之，Janus-Pro模型在多模态理解和文本到图像生成任务方面的表现非常出色，证明了其在处理自然语言和视觉信息方面的强大能力。

更好地处理高分辨率图像和处理多图像输入的能力。总体而言，该研究为在结构上使视觉嵌入与文本嵌入保持一致的重要性提供了有价值的见解，并强调了在该领域继续研究的必要性。该架构通过在视觉编码器处理过程中集成一个可学习的视觉嵌入表，实现了结构化地对视觉和文本嵌入进行对齐，并使用了与生成文本嵌入相同的方法来捕捉丰富的视觉语义信息。此外，他们还强调了在结构上使视觉嵌入与文本嵌入保持一致的重要性，并讨论了与生成模型中的幻觉和偏见相关的潜在负面影响。，这是一种使用新的视觉嵌入查找表在视觉上对齐文本嵌入与视觉嵌入的新方法。

因此adaptor使用一些随机初始化的query向量，和所有图像patch进行cross-attention，输出少量的向量，相当于对原始图像做了一个压缩，有选择性的保留信息，缩短后续输入到LLM的视觉token长度。在第三阶段，为了提升大模型的问答能力，使用SFT进行LLM的进一步finetune，冻结ViT参数，提升模型的对话能力。过年期间，阿里巴巴的千问多模态大模型引发了国内外的关注，最新发布的Qwen2.5-VL（72B）中，在多个数据集上的效果超越了GPT-4o，取得了最优效果。

通过增强的视觉识别、精确的对象定位、稳健的文档解析和长视频理解等能力，Qwen2.5-VL实现了对世界的更好理解和交互。较小的Qwen2.5-VL-7B和Qwen2.5-VL-3B模型在资源受限环境中表现出了更强的能力，并且仍然保持着稳健的语言性能，保留了Qwen2.5 LLM的核心语言能力。Qwen2.5-VL为视觉语言模型树立了新的基准，展示了在跨领域的任务执行和一般化方面的卓越表现，为更智能和互动系统的发展铺平了道路，实现了感知和现实世界应用之间的桥梁。