一、网络框架
二、Patch Merging
图像长和宽减半，通道数增加一倍
三、W-MSA
目的：减少计算量
缺点：窗口之间无法进行信息交互
四、SW-MSA
目的：实现不同window之间的信息交互
为了不增加计算量，移动window并增加Mask-MSA
计算完后将数据移动到原来位置
五、Relative position bias
bias才是Attention中B的数值，我们训练的是bias table中的参数
六、模型详细配置参数
本文介绍了网络框架中的关键技术，如PatchMerging（图像尺寸调整与通道扩展）、W-MSA（减少计算量但限制信息交互）、SW-MSA（引入信息交互以保持效率），以及Relativepositionbias在Attention机制中的应用。还详细讨论了模型配置参数的选择和设计。
8285
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
