RuntimeError: FlashAttention only supports Ampere GPUs or newer.

福将～白鹿

已于 2024-04-23 20:04:48 修改

阅读量4.3k

点赞数 4

文章标签： Llama

于 2024-04-23 19:56:15 首次发布

本文链接：https://blog.csdn.net/qq_41475067/article/details/138136728

版权

文章讲述了RuntimeError在使用FlashAttention时遇到的问题，由于GPU配置过低不支持Tesla-V100，提出了两种解决方案：升级到A100或H100等高版本GPU，或关闭use_flash_attention_2以适应其他GPU。同时介绍了FlashAttention-2支持的GPU类型和数据类型要求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错：
RuntimeError: FlashAttention only supports Ampere GPUs or newer.
报错原因分析：
GPU机器配置低，不支持特斯拉-V100；
是否有解决方案,是；
方案1、能搞到A100或者H100以及更高版本的机器最佳；
方案2、use_flash_attention_2=True，关闭use_flash_attention_2，即：use_flash_attention_2=False；

数据支持：

FlashAttention-2 currently supports:

Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100). Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now.
Datatype fp16 and bf16 (bf16 requires Ampere, Ada, or Hopper GPUs).
All head dimensions up to 256. Head dim > 192 backward requires A100/A800 or H100/H800.

详细描述请查看：https://github.com/Dao-AILab/flash-attention