超级会员免费看
一 代码结构
1 核心代码
在flash_attn目录下
1.1 flash_atten_triton:
前向反向计算的kernel代码
1.2 flash_atten_triton：
前向反向计算的kernel代码 ，但是没有causal功能
本文主要分析了Dao-AILab的FlashAttention项目，重点梳理了代码结构，包括核心的flash_atten_triton模块，详细探讨了前向和反向计算的kernel代码，尽管未涉及causal功能。
本文主要分析了Dao-AILab的FlashAttention项目，重点梳理了代码结构，包括核心的flash_atten_triton模块，详细探讨了前向和反向计算的kernel代码，尽管未涉及causal功能。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
