- 博客(4)
- 收藏
- 关注
原创 减少windows下flash-attention的安装时间
使用此方式,用4个小时左右成功安装了flash-attention,生成的flash_attn_2_cuda.cp310-win_amd64.pyd有385MB。根据任务管理器的信息,32G的内存已经被用了8G,而监控发现编译程序运行时内存峰值在3G左右,所以可以使用8个线程进行编译。以上采用默认安装方式时,编译x.cu文件仅启动了2个线程,1个文件需要20多分钟,而cu文件有48个!所以记录一下优化方式。几经折腾,发现作者已经在setup.py里包含了调整编译线程数的环境参数了。
2024-04-14 20:16:19 1728
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人