Pytorch 实现GlobalContextBlock

import torch

import torch.nn as nn

import torchvision

class GlobalContextBlock(nn.Module):

def init(self,

inplanes,

ratio,

pooling_type=‘att’,

fusion_types=(‘channel_add’, )):

super(GlobalContextBlock, self).init()

assert pooling_type in [‘avg’, ‘att’]

assert isinstance(fusion_types, (list, tuple))

valid_fusion_types = [‘channel_add’, ‘channel_mul’]

assert all([f in valid_fusion_types for f in fusion_types])

assert len(fusion_types) > 0, ‘at least one fusion should be used’

self.inplanes = inplanes

self.ratio = ratio

self.planes = int(inplanes * ratio)

self.pooling_type = pooling_type

self.fusion_types = fusion_types

if pooling_type == ‘att’:

self.conv_mask = nn.Conv2d(inplanes, 1, kernel_size=1)

self.softmax = nn.Softmax(dim=2)

else:

self.avg_pool = nn.AdaptiveAvgPool2d(1)

if ‘channel_add’ in fusion_types:

self.channel_add_conv = nn.Sequential(

nn.Conv2d(self.inplanes, self.planes, kernel_size=1),

nn.LayerNorm([self.planes, 1, 1]),

nn.ReLU(inplace=True), # yapf: disable

nn.Conv2d(self.planes, self.inplanes, kernel_size=1))

else:

self.channel_add_conv = None

if ‘channel_mul’ in fusion_types:

self.channel_mul_conv = nn.Sequential(

nn.Conv2d(self.inplanes, self.planes, kernel_size=1),

nn.LayerNorm([self.planes, 1, 1]),

nn.ReLU(inplace=True), # yapf: disable

nn.Conv2d(self.planes, self.inplanes, kernel_size=1))

else:

self.channel_mul_conv = None

def spatial_pool(self, x):

batch, channel, height, width = x.size()

if self.pooling_type == ‘att’:

input_x = x

[N, C, H * W]

input_x = input_x.view(batch, channel, height * width)

[N, 1, C, H * W]

input_x = input_x.unsqueeze(1)

[N, 1, H, W]

context_mask = self.conv_mask(x)

[N, 1, H * W]

context_mask = context_mask.view(batch, 1, height * width)

[N, 1, H * W]

context_mask = self.softmax(context_mask)

[N, 1, H * W, 1]

context_mask = context_mask.unsqueeze(-1)

[N, 1, C, 1]

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）