![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
transformer
麓山南麓
某221机械专业本科生
展开
-
MAE代码阅读(一)
参数 parser = argparse.ArgumentParser('MAE pre-training', add_help=False) parser.add_argument('--batch_size', default=64, type=int, help='Batch size per GPU (effective batch size is batch_size * accum_iter * # gpus') parser.a原创 2022-01-28 18:40:16 · 8310 阅读 · 16 评论 -
Swin transformer
输入HW3的图像,经过patch partion模块,使用44大小的窗口进行分割,每个特征图的每个通道的特征图都被分为了16个,316=48,输出为H/4W/448,然后经过Linear Embedding,调整特征图的通道数为C,而后经过了Layer Norm。然后经过Swin transformerBlock偶数次W-MSA和SW-MSA成对使用。PatchMerging 对每个通道数上的特征图以间隔为1的22窗口,得到4倍数量的特征图,然后在拼接起来,经过LayeNorm,然后用Linear对通.原创 2021-11-14 20:00:17 · 399 阅读 · 0 评论