What matters when building vision-language models?
大型语言模型和视觉transformer的改进推动了人们对视觉语言模型(VLM)日益增长的兴趣。尽管有大量关于这一主题的文献,但我们观察到,关于VLM设计的关键决策往往是不合理的。我们认为,这些未经支持的决策阻碍了该领域的进展,因为它们很难确定哪些选择可以提高模型性能。为了解决这个问题,我们围绕预训练的模型、架构选择、数据和训练方法进行了广泛的实验。我们对研究结果的整合包括Idefics2的开发,这是一种具有80亿个参数的高效基础VLM。
复制链接