本文介绍如何在Pytorch中实现GlobalContextBlock，通过详细解析相关代码，包括LayerNorm、ReLU、Conv2d等操作，帮助理解其工作原理。同时，文章提及适用于不同场景的池化方式，如注意力池化和平均池化。最后，作者分享了个人学习和工作经验，提供了一份全面的Python开发学习资料。
nn.LayerNorm([self.planes, 1, 1]),
nn.ReLU(inplace=True), # yapf: disable
nn.Conv2d(self.planes, self.inplanes, kernel_size=1))
else:
self.channel_add_conv = None
if ‘channel_mul’ in fusion_types:
self.channel_mul_conv = nn.Sequential(
nn.Conv2d(self.inplanes, self.planes, kernel_size=1),
nn.LayerNorm([self.planes, 1, 1]),
nn.ReLU(inplace=True), # yapf: disable
nn.Conv2d(self.planes, self.inplanes, kernel_size=1))
else:
self.channel_mul_conv = None
def spatial_pool(self, x):
batch, channel, height, width = x.size()
if self.pooling_type == ‘att’:
input_x = x
[N, C, H * W]
input_x = input_x.view(batch, channel, height * width)
[N, 1, C, H * W]
input_x = input_x.unsqueeze(1)
最低0.47元/天 解锁文章
986
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
