超级会员免费看
这篇博客介绍了如何解决在使用Transformer Engine时遇到的ImportError，指出可以改用Flash Attention库的最新版2.5.2来实现sliding window。文章详细说明了Flash Attention的参数用法，并提供了下载最新版本和解决报错的步骤，包括卸载旧版本并确保正确安装新版本。
pyTorch — Transformer Engine 1.2.1 documentation
论文：https://arxiv.org/pdf/2310.06825.pdf
transformer engine 的 sliding window 是用了 flash atttention（新版本2以上，这里用的最新版本2.5.2）里对sliding_window的实现。所以不需要用transformer engine。直接用flash attention即可。
传入参数为
（4096，0）：前面看4096个位置。
（-1，-1）：全局注意力
（-1，0）：自回归注意力，只看前面所有位置。是无sliding window 的实现。
订阅专栏 解锁全文
786
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
