SRM代码理解——ICCV2019
原文: https://openaccess.thecvf.com/content_ICCV_2019/html/Lee_SRM_A_Style-Based_Recalibration_Module_for_Convolutional_Neural_Networks_ICCV_2019_paper.html
代码: https://github.com/hyunjaelee410/style-based-recalibration-module/tree/master
相当于更新了SENet中的squeeze和excitation部分。对应的提出他的style pooling和style integration。
广播机制
python中的广播机制的使用是非常普遍的,通俗的讲:
一个m*n的矩阵,加减乘除一个m*1的矩阵,python会把它复制n次变成相同大小的矩阵,对应元素做运算。
Style Pooling
def _style_pooling(self, x, eps=1e-5):
N, C, _, _ = x.size()
channel_mean = x.view(N, C, -1).mean(dim=2, keepdim=True)
channel_var = x.view(N, C, -1).var(dim=2, keepdim=True) + eps
channel_std = channel_var.sqrt()
t = torch.cat((channel_mean, channel_std), dim=2)
return t
就是用了对中间特征(B, C, H, W)做两次Pooling,一次算每个通道上的平均值,一次算每个通道上的方差,然后concat到一起,得到(B, C, 2)的特征。
它这里pooling 的计算方式没有借助其他包,就是直接指定在最后一维\空间维度上.mean()
.var()
计算。
CFC通道全连接层
看论文的时候看人家图中画了这个模块,一时没反应过来,仔细看了下描述是通道全连接层,意思不难理解。看了下源码, 看了半天发现作者没有公布。