华科：视觉大模型动态剪枝框架FlowCut

📖标题：FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models
🌐来源：arXiv, 2505.19536

🌟摘要

🔸大型视觉语言模型 (LVLM) 在多模态理解方面表现出色，但由于视觉标记冗余，计算成本较高。现有的剪枝方法通常依靠单层注意力分数对冗余视觉标记进行排序和修剪，以解决这种效率低下的问题。然而，由于令牌和层之间的交互很复杂，这就提出了一个基本问题：这种简单的单层标准是否足以识别冗余。
🔸为了回答这个问题，我们从基本的角度重新思考冗余视觉标记的出现：信息流，它通过捕获跨层标记之间的信息移动来模拟标记和层之间的交互。我们发现 (1) CLS 令牌充当信息中继，可以简化复杂的流分析； (2) 通过逐层注意力集中逐步动态地出现冗余； (3) 仅依靠来自单层的注意力分数会导致矛盾的冗余识别。在此基础上，我们提出了FlowCut，这是一种信息流感知剪枝框架，减轻了当前识别冗余令牌的标准的不足，更好地与模型的固有行为对齐。
🔸大量实验表明，FlowCut 取得了更好的结果，在 LLAVA-1.5-7B 上比 SoTA 高出 1.6%，令牌减少 88.9%，LLAVA-NeXT-7B 降低了 4.3%，减少了 94.4%，在预填充阶段提供了 3.2 倍的加速。我们的代码可在 https://github.com/TungChintao/FlowCut 获得。

🛎️文章简介

🔸研究问题：如何更有效地识别视觉语言模型中的冗余视觉标记以提升计算效率？
🔸主要贡献：论文提出了一种基于信息流的动态剪枝框架FlowCut，有效提升了视觉语言模型的推理效率。

📝重点思路

🔸分析信息流：论文通过对视觉标记的信息流模式进行系统分析，以理解冗余的产生过程。
🔸实验设计：引入了一种层级自适应剪枝比率模块，依据注意力熵动态调整剪枝强度，进而确定重要标记的评估。
🔸多标准评估：设计了多标准评分策略，结合注意力强度、信息密度和语义相似性，提供对标记重要性更可靠的估计。
🔸累积重要性追踪：在不同层次上对标记的累积重要性进行追踪，以减轻当前标准的不足。

🔎分析总结

🔸冗余的出现是随注意力的集中逐层渐进的，而非在最后阶段突然发生。
🔸仅依赖单层的注意力分数作为标准来识别重要标记是不够的，需要纳入多层的信息流考虑。
🔸FlowCut通过积累历史和当前的标准，提供了更全面的标记重要性评估，有效地保留了关键信息，去除了冗余。
🔸实验表明，FlowCut在多个基准测试中显著优于现有方法，验证了其在提高推理效率的同时保持性能的能力。

💡个人观点

论文的创新点在于将信息流作为理解冗余标记的核心视角，提出了基于信息流的剪枝框架，克服了传统单层评估的局限性，提供了一种更动态和层适应的剪枝策略。

🧩附录