![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Restormer
文章平均质量分 80
个人对restormer的理解
果壳小旋子
沈阳自动化研究所在读
展开
-
Restormer
OverlapPatchEmbed 将输入图像传递给一个3x3的卷积层,得到一个嵌入结果。这与许多其他的patch embedding方法不同,这些方法通常使用较大的卷积核和步长来直接将图像分割成不重取的patch。Downsample 模块首先使用卷积层将输入特征图的通道数减半,然后使用像素反洗牌操作进一步降采样特征图。将通道数x4,长/2,宽/2,所以总体上该模块是将通道数x2,长/2,宽/2。的官方文档,可以看到,Downsample模块先用二维卷积层。的实现代码,与上图完全一致。原创 2023-08-28 15:04:29 · 487 阅读 · 0 评论 -
MDTA模块(Restormer)
最后再残差连接,这整个流程才是上图所示。模块,该模块的实现可以参考。这段代码并没有实现图中的。可以看到实现的时候是先。原创 2023-08-24 18:37:34 · 480 阅读 · 0 评论 -
Layer Normalization(层规范化)
训练深度神经网络需要大量的计算,减少计算时间的一个有效方法是规范化神经元的活动,例如批量规范化(batch normalization)技术,然而,批量规范化对小批量大小(batch size)敏感并且无法直接应用到中(recurrent neural networks),为了解决上述问题,层规范化(Layer Normalization)被提出,不仅能直接应用到RNN,还能显著减少训练时间。原创 2023-08-24 15:41:28 · 464 阅读 · 0 评论 -
GDFN模块(restormer)
为了对特征进行变换,常规的前馈神经网络独立地在每个像素位置进行相同的操作。它使用两个1x1卷积层,一个用来扩展特征通道(通常4倍),第二个用来将特征通道减少到原来的输入维度。在隐藏层中加入非线性。架构如下图:门机制通过经过线性变换的两个平行通道的逐元素点积实现,其中一个通道用激活,可以参考深度可分离卷积用来编码空间上邻域像素的信息,有助于学习局部图像结构。原创 2023-08-25 15:25:53 · 515 阅读 · 0 评论 -
Transformer模块(Restormer)
模块组成一个Transformer Block。原创 2023-08-27 15:05:18 · 283 阅读 · 0 评论