- 博客(3)
- 收藏
- 关注
RSS订阅原创 ACmix：卷积与self-Attention的融合
ACmix是一种高效的卷积自注意力融合方法，集中了两种结构的优势，同时又能在计算开销上保持在能接受的范围。
2022-07-18 22:09:34
5323
15
原创 Swin_Transformer_minivit代码解读
由于Swin_Transformer_minivit代码是在Swin_Transformer的基础上改的，所以文章仅解读相对原改变的部分，有需要的reader可移步到下面的链接看Swin_Transformer的代码解读。swin-transformer代码详解_社区小铁匠的博客-CSDN博客https://blog.csdn.net/tiehanhanzainal/article/details/125041407?spm=1001.2014.3001.5501如上图所示，在每个阶..
2022-05-31 19:33:06
762
1
原创 swin-transformer代码详解
上图为swin_transformer 的主体框架结构，模型采取层次化的设计，一共包含4个Stage，每个stage都会缩小输入特征图的分辨率，像CNN一样逐层扩大感受野。patch partition首先是patch partition结构，该模块的作用是对输入的原始图片通过conv2d进行裁剪为patch_size*patch_size大小的块（不是window_size），设定输出通道来确定嵌入向量的大小。最后将H,W维度展开，并移动到第一维度。代码如下：cla...
2022-05-30 14:22:01
3179
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人