ViT论文中使用的可视化attention的方法是Attention Rollout。这个方法来自与Quantifying Attention Flow in Transformers。Jacob Gildenblat写了个blog介绍了这个方法和实现。
另外一个方法来自于Transformer Interpretability Beyond Attention Visualization.效果图如下所示:
ViT中的attention可视化
最新推荐文章于 2024-07-08 21:25:17 发布