weixin_48017784的博客

原创 一些深度学习方法汇总（自用）

ShiftVIT 链接: ShiftVIT知乎解析. 一些研究认为，VIsion Transformer的成功不是重点依赖于注意力机制，作者提出了一种没有全局感受野、没有动态性、没有参数、没有额外计算量的ShiftVIT来验证上述观点。 方法： 作者用shift block来代替attention，shift block模块比较简单，就是沿着通道取出部分数据（4份），然后分别作左、右、上、下平移，移出范围的部分删掉，空白部分用0填充，其实就是删掉一侧的数据，然后在另一侧补0，不改变数据的height、wid