算法背景
- 出发点是优化加速LLM的训练和推理
- 相比于flash attention v1主要优化了GEMM部分,使用CUTLASS3.0
配置信息
配置名称 | 配置内容 |
---|---|
硬件平台 | A100 80g |
docker | NV提供的pytorch镜像http://nvcr.io/nvidia/pytorch:22.09-py3 |
flash_v1 commit | v1.0.9 (https://github.com/Dao-AILab/flash-attention/releases/tag/v1.0.9) |
flash_v2 commit | v2.0.0 |