大模型下的视频理解阅读：VideoQA in the Era of LLMs: An Empirical Study

这篇文章做了一个a comprehensive study to VideoLLM’s behavior in VideoQA
有了以下发现：

1. Temporal Understanding：大部分虽然时序理解很到位，但是在理解时序顺序时还不如没有llm的方法。
2. Visual Grounding: 虽然llm的方法效果好于原来没用llm 的方法，但是在答案定位类只是略超过，这说明their strength in capturing language priors and spurious vision-text correlations
3. Multimodal VQA Reasoning：llm的方法更可能抓住short-cut，这reflecting their deficiency in faithful reasoning from video-question to the correct answers
4. Robustness：对于问题更敏感，但是对于视频（比如改变帧顺序)不敏感
5. Generalization：out-of-distribution (OOD) data for non-LLM methods may not be actual OOD for Video-LLMs