大模型论文 | 清华推出SageAttention2，性能比FlashAttention2和xformers飙升3-5倍

最新推荐文章于 2025-04-01 09:26:51 发布

大模型本地部署_

最新推荐文章于 2025-04-01 09:26:51 发布

阅读量1.3k

点赞数 13

文章标签：人工智能大模型 ai LLM Agent agi 论文

本文链接：https://blog.csdn.net/Androiddddd/article/details/143967454

版权

1. SageAttention2 Technical Report: Accurate 4 Bit Attention for Plug-and-play Inference Acceleration

在这里插入图片描述

尽管线性层的量化已被广泛使用，但将其应用于加速注意力过程的应用仍然有限。SageAttention 利用了8位矩阵乘法、结合16位累加器的16位矩阵乘法，以及精度增强方法，实现了与 FlashAttention2 相比快2倍的准确内核。为了在保持精度的同时进一步提高注意力计算的效率，我们提出了 SageAttention2，它利用了显著更快的4位矩阵乘法（Matmul）以及额外的精度增强技术。首先，我们建议将矩阵（Q, K）在warp级粒度上量化为INT4，将矩阵（P), V）量化为FP8。其次，我们提出了一种方法来平滑 Q 和 V，以增强使用 INT4 QK 和 FP8 PV 的注意力的准确性。第三，我们分析了跨时间步和层的量化精度，然后提出了一个自适应量化方法，以确保各种模型的端到端指标。SageAttention2 的每秒操作数（OPS）在 RTX4090 上分别比 FlashAttention2 和 xformers 高约3倍和5倍。实验表明，我们的方法在各种模型中导致了可忽略不计的端到端指标损失，包括大语言处理、图像生成和视频生成等模型。代码可在 https://github.com/thu-ml/SageAttention 。

论文: https://arxiv.org/pdf/2411.10958

2. Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents

在这里插入图片描述

语言Agent在自动化网络任务方面展示了有前景的能力，然而它们目前的反应式方法仍然远不及人类的表现。虽然结合先进的规划算法，尤其是树搜索方法，可以增强这些Agent的表现，但在实时网站上直接实施树搜索会带来重大的安全风险和实际限制，因为这涉及到不可撤销的操作，如确认购买。本文提出了一种新的范式，该范式将模型驱动的规划与语言Agent相结合，在复杂网络环境中首次创新地使用大型语言模型（LLMs）作为世界模型。我们的方法WebDreamer基于一个关键洞察，即LLMs天生包含了关于网站结构和功能的全面知识。具体而言，WebDreamer使用LLMs模拟每个候选动作（例如，“如果我点击这个按钮会发生什么？”）的自然语言描述结果，并评估这些想象中的结果以确定每一步的最佳行动。在两个具有在线交互的代表性网络Agent基准测试——VisualWebArena和Mind2Web-live——上的实验证明，WebDreamer在反应式基线之上取得了显著的改进。通过证明LLMs作为网络环境中的世界模型的可行性，这项工作为自动化网络交互的范式转变奠定了基础。

论文: https://arxiv.org/pdf/2411.06559

3. VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

视频生成已经发生了显著的进步，然而评估这些模型仍然是一项挑战。一个全面的视频生成评估基准至关重要：1）现有的指标未能完全与人类感知对齐；2）理想的评估系统应该提供见解以指导视频生成的未来开发。为此，我们提出了VBench，这是一个全面的基准套件，将“视频生成质量”分解为具体、层次化和分离的维度，每个维度都有定制的提示和评估方法。VBench有几个吸引人的特性：1）全面的维度：VBench包括视频生成的16个维度（例如，主体身份不一致性、运动流畅性、时间闪烁和空间关系等）。精细粒度的评估指标揭示了各个模型的优势和劣势。2）人类对齐：我们还提供了一个人类偏好注释数据集，以分别验证我们的基准与每个评估维度的人类感知对齐。3）有价值的见解：我们研究了当前模型在各种评估维度和不同内容类型上的能力，并调查了视频和图像生成模型之间的差距。4）多功能基准测试：VBench++支持评估文本到视频和图像到视频。我们提出了一个高质量的图像套件，具有自适应纵横比，以在不同的图像到视频生成设置中实现公平的评估。除了评估技术质量，VBench++还评估了视频生成模型的可信度，提供了一个更全面的模型性能视图。5）全面开源：我们全面开源了VBench++，并不断向我们的排行榜添加新的视频生成模型，以推动视频生成领域的进步。

论文: https://arxiv.org/pdf/2411.13503

4. VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

多模态模型（LMMs）具有先进视频分析能力。然而，大多数评估仍然依赖于基准如VideoMME和LongVideoBench中的传统方法，如多项选择题，这些方法容易缺乏深度，无法捕捉现实世界用户复杂的需求。为了解决这一局限性——由于视频任务的人工标注成本高昂且耗时——我们提出了VideoAutoArena，这是一种借鉴LMSYS Chatbot Arena框架的竞技场式基准，旨在自动评估LMMs的视频分析能力。VideoAutoArena利用用户模拟生成开放式的、自适应的问题，以严格评估模型在视频理解方面的表现。该基准包括一个自动化的评估框架，结合了修改后的ELO评分系统，以实现公平且持续的多LMMs之间的比较。为了验证我们的自动评判系统，我们构建了一个“黄金标准”，使用精心筛选的人工标注子集，证明我们的竞技场与人类判断高度一致，同时保持可扩展性。此外，我们提出了一种故障驱动的进化策略，逐步增加问题的复杂性，促使模型处理更具有挑战性的视频分析场景。实验结果表明，VideoAutoArena有效地区分了最先进的LMMs，提供了关于模型优势和改进领域的见解。为了进一步简化评估，我们提出了VideoAutoBench作为辅助基准，在VideoAutoArena的某些战斗中，人类注释员标记胜者。我们使用GPT-4o作为裁判，将模型的回答与这些人类验证的答案进行比较。结合VideoAutoArena和VideoAutoBench，提供了一种成本效益高且可扩展的框架，用于评估用户为中心的视频分析中的LMMs。

论文: https://arxiv.org/pdf/2411.13281

5. Stylecodes: Encoding Stylistic Information For Image Generation

扩散模型在图像生成方面表现优异，但控制它们仍然是一项挑战。我们专注于风格条件下的图像生成问题。尽管示例图像有效，但使用起来不便：MidJourney的srefs（风格参考代码）通过用简短的数字代码表达特定的图像风格解决了这个问题。由于它们易于分享且允许使用图像进行风格控制，无需发布源图像，这些代码在社交媒体上得到了广泛采用。然而，用户无法从自己的图像生成srefs，而且底层训练过程也不公开。我们提出StyleCodes：一种开源且开放研究的风格编码架构，以20个字符的base64代码来表达图像风格。我们的实验表明，我们的编码与传统图像到风格的技术相比，质量损失很小。