本文是LLM系列文章,针对《PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning》的翻译。
摘要
视觉语言预训练显著提高了各种图像语言应用程序的性能。然而,视频相关任务的预训练过程需要非常大的计算和数据资源,这阻碍了视频语言模型的进步。本文研究了一种简单、高效、资源少的方法,用于调整现有的图像语言预训练模型,以实现密集视频理解。我们的初步实验表明,直接微调预训练的图像语言模型,将多帧作为视频数据集的输入,会导致性能饱和甚至下降。我们进一步的研究表明,这在很大程度上归因于学习到的高范数视觉特征的偏见。受这一发现的启发,我们提出了一种简单但有效的池化策略,以平滑沿时间维度的特征分布,从而减少极端特征的主要影响。新模型被称为Pooling LLaVA,简称PLLaVA。PLLaVA在现代基准数据集上实现了最新的最先进性能,用于视频问答和字幕任务。值得注意的是,在最近流行的Video ChatGPT基准测试中,PLLaVA在五个评估维度上的平均得分为3.48分(满分5分),比GPT4V(IGVLM)之前的SOTA结果高出9%。在最新的多选基准MVBench上,PLLaVA在20个子任务中的平均准确率为58.1%,比GPT4V(