Pytorch GhostNet模型的复现详解

什么是GhostNet模型
2020年，华为新出了一个轻量级网络，命名为GhostNet。

在优秀CNN模型中，特征图存在冗余是非常重要的。如图所示，这个是对ResNet-50第一个残差块特征图进行可视化的结果，当我们给一个神经网络输入一张图片时，我们可以获得特别多的特征图。

利用小扳手连接起来的两幅特征图，它们的相似性就特别高，这个就是神经网络中存在的特征图冗杂的情况。

作者将相似的特征图认为是彼此的Ghost，所以这个网络就叫做GhostNet（误）。

在GhostNet这篇论文里面，作者认为可以使用一些计算量更低（Cheap Operations）的操作去生成这些冗余的特征图，这样就可以在保证良好检测效果的情况下，减少模型的参数量与提高模型的执行速度。

GhostNet模型的实现思路
1、Ghost Module
通过上述的介绍，我们了解到了，GhostNet的核心思想就是使用一些计算量更低（Cheap Operations）的操作去生成这些冗余的特征图。

在论文中，作者设计了一个名为Ghost Module的模块，他的功能是代替普通卷积。

Ghost Module将普通卷积分为两部分，首先进行一个普通的1x1卷积，这是一个少量卷积，比如正常使用32通道的卷积，这里就用16通道的卷积，这个1x1卷积的作用类似于特征整合，生成输入特征层的特征浓缩。

然后我们再进行深度可分离卷积，这个深度可分离卷积是逐层卷积，它也就是我们上面提到的Cheap Operations。它利用上一步获得的特征浓缩生成Ghost特征图。

因此，如果我们从整体上去看这个Ghost Module，它其实就是两步简单思想的汇总：
1、利用1x1卷积获得输入特征的必要特征浓缩。
2、利用深度可分离卷积获得特征浓缩的相似特征图（Ghost）。

3、Ghostnet的构建
整个Ghostnet的构建方式如列表所示：

可以看到，整个Ghostnet都是由Ghost Bottlenecks进行组成的。

当一张图片输入到Ghostnet当中时，我们首先进行一个16通道的普通1x1卷积块（卷积+标准化+激活函数）。

之后我们就开始Ghost Bottlenecks的堆叠了，利用Ghost Bottlenecks，我们最终获得了一个7x7x160的特征层（当输入是224x224x3的时候）。

然后我们会利用一个1x1的卷积块进行通道数的调整，此时我们可以获得一个7x7x960的特征层。

之后我们进行一次全局平均池化，然后再利用一个1x1的卷积块进行通道数的调整，获得一个1x1x1280的特征层。

然后平铺后进行全连接就可以进行分类了。

2、Yolov4上的应用
作为一个轻量级网络，我把Ghostnet和Mobilenet放在一起，作为Yolov4的主干网络进行特征提取。

对于yolov4来讲，我们需要利用主干特征提取网络获得的三个有效特征进行加强特征金字塔的构建。
我们可以利用这三个有效特征层替换原来yolov4主干网络CSPdarknet53的有效特征层。

为了进一步减少参数量，我们可以使用深度可分离卷积代替yoloV3中用到的普通卷积。

最终Ghostnet-Yolov4的构建代码如下：

class GhostNet(nn.Module):
    def __init__(self, pretrained=True):
        super(GhostNet, self).__init__()
        model = ghostnet()
        if pretrained:
            state_dict = torch.load("model_data/ghostnet_weights.pth")
            model.load_state_dict(state_dict)
        del model.global_pool
        del model.conv_head
        del model.act2
        del model.classifier
        del model.blocks[9]
        self.model = model
        self.layers_out_filters = [16, 24, 40, 112, 160]

    def forward(self, x):
        x = self.model.conv_stem(x)
        x = self.model.bn1(x)
        x = self.model.act1(x)
        feature_maps = []

        for idx, block in enumerate(self.model.blocks):
            x = block(x)
            if idx in [2,4,6,8]:
                feature_maps.append(x)
        return feature_maps[1:]

def conv2d(filter_in, filter_out, kernel_size, groups=1, stride=1):
    pad = (kernel_size - 1) // 2 if kernel_size else 0
    return nn.Sequential(OrderedDict([
        ("conv", nn.Conv2d(filter_in, filter_out, kernel_size=kernel_size, stride=stride, padding=pad, groups=groups, bias=False)),
        ("bn", nn.BatchNorm2d(filter_out)),
        ("relu", nn.ReLU6(inplace=True)),
    ]))

def conv_dw(filter_in, filter_out, stride = 1):
    return nn.Sequential(
        nn.Conv2d(filter_in, filter_in, 3, stride, 1, groups=filter_in, bias=False),
        nn.BatchNorm2d(filter_in),
        nn.ReLU6(inplace=True),

        nn.Conv2d(filter_in, filter_out, 1, 1, 0, bias=False),
        nn.BatchNorm2d(filter_out),
        nn.ReLU6(inplace=True),
    )

       

————————————————
版权声明：本文为CSDN博主「Bubbliiiing」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44791964/article/details/120884617