MobileViT代码实现部分细节重点

最新推荐文章于 2024-03-28 10:27:20 发布

weixin_44040169

最新推荐文章于 2024-03-28 10:27:20 发布

阅读量390

点赞数

分类专栏： Python 文章标签： python 开发语言 pytorch transformer

本文链接：https://blog.csdn.net/weixin_44040169/article/details/127943022

版权

Python 专栏收录该内容

37 篇文章 0 订阅

订阅专栏

MobileViT

图片来自B导
在这里插入图片描述

每个patch里拿出对应位置的token组成序列【相当amazing】
感觉只要[B,C,H,W] 里BCH*W个tensor不变，这些维度随便变。
unfold代码：

    def my_unfold(x): 
        # [B,C,H,W] -> [B,C,n_h,p_h,n_w,p_w]
        x = x.reshape(batch_size , in_channels, num_patch_h, patch_h, num_patch_w, patch_w)
        #[B,C,n_h,p_h,n_w,p_w]->[B,C,n_h,n_w,p_h,p_w]
        x = x.transpose(3, 4)
        #[B,C,n_h,n_w,p_h,p_w]->[B,C,n_h*n_w,p_h*p_w]即[B,C,N,P]
        x = x.reshape(batch_size, in_channels, num_patches, patch_area)
        #[B,C,N,P]->[B,P,N,C]  
        x = x.transpose(1,3)
        #[B,P,N,C]->[BP,N,C]   BP是所有batch里patch总数
        x = x.reshape(batch_size*patch_area, num_patches, -1)

        return x