深度学习——ZFNet网络模型代码ZFNet.py

1.ZFNet网络模型简介

ZFNet其实跟AlexNet很像很像，ZFNet 仅仅是在 AlexNet 上做了一些调参：

改变了 AlexNet 的第一层，即将卷积核的尺寸大小 11x11 变成 7x7，并且将步长 4 变成了 2（就这么一丁丁操作就改变了整个卷积神经网络的性能）。因为这样就会将每次卷积的时候，就会将原来11*11的卷积核变成7*7的卷积核，那么7*7的卷积核比11*11的卷积核提取的特征就会细致，识别的准确率就会高。

除此之外，ZFNet最大的贡献是对卷积操作为什么对图像数据有效这个问题做出的一系列实验和解释。

2.ZFNet网络卷积计算结果（feature maps）的特点

CNN输出的特征图有明显的层级区分。

越靠近输入端，提取的特征所蕴含的语义信息比较少，例如颜色特征，边缘特征，角点特征等等，也就是背景特征。

越靠近输出端，提取的特征所蕴含的语义信息越丰富，例如狗脸，鸟腿等，都属于目标级别的特征。也就是目标特征。

3. 图片平移，缩放，旋转对CNN的影响

卷积拥有良好的平移不变性，即图像平移对CNN的影响不是很大；

卷积操作也具有良好的缩放不变性，即图像缩放对CNN的影响不是很大；

卷积操作不具有良好的旋转不变性，即图像旋转对CNN的影响很大。

4.遮挡对卷积模型的影响

遮挡实验证明，模型确实可以理解图片，找到语义信息最丰富，对识别最关键的特征，比如狗脸、车轮等等；而不是仅仅依靠一些颜色，纹理特征去做识别。

5.完整代码

import torch.nn as nn
import torch 

# 与AlexNet有两处不同： 1. 第一次的卷积核变小，步幅减小。 2. 第3，4，5层的卷积核数量增加了。
class ZFNet(nn.Module):
    def __init__(self, num_classes=1000, init_weights=False):
        super(ZFNet, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 96, kernel_size=7, stride=2, padding=2),  # input[3, 224, 224]  output[96, 111, 111]
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),                  # output[96, 55, 55]

            nn.Conv2d(96, 256, kernel_size=5, padding=2),           # output[256, 55, 55]
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),                  # output[256, 27, 27]

            nn.Conv2d(256, 512, kernel_size=3, padding=1),          # output[512, 27, 27]
            nn.ReLU(inplace=True),

            nn.Conv2d(512, 1024, kernel_size=3, padding=1),          # output[1024, 27, 27]
            nn.ReLU(inplace=True),

            nn.Conv2d(1024, 512, kernel_size=3, padding=1),          # output[512, 27, 27]
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),                  # output[512, 13, 13]
        )
        self.classifier = nn.Sequential(
            nn.Dropout(p=0.5),
            nn.Linear(512 * 13 * 13, 4096),
            nn.ReLU(inplace=True),

            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            
            nn.Linear(4096, num_classes),
        )
        if init_weights:
            self._initialize_weights()

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, start_dim=1)
        x = self.classifier(x)
        return x

    def _initialize_weights(self):
        for m in self.modules():
            if isinstance(m, nn.Conv2d):
                nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
                if m.bias is not None:
                    nn.init.constant_(m.bias, 0)
            elif isinstance(m, nn.Linear):
                nn.init.normal_(m.weight, 0, 0.01)
                nn.init.constant_(m.bias, 0)

def zfnet(num_classes): 
    model = ZFNet(num_classes=num_classes)
    return model

# net = ZFNet(num_classes=1000)
# summary(net.to('cuda'), (3,224,224))
#########################################################################################################################################
# Total params: 386,548,840
# Trainable params: 386,548,840
# Non-trainable params: 0
# ----------------------------------------------------------------
# Input size (MB): 0.57
# Forward/backward pass size (MB): 57.77
# Params size (MB): 1474.57
# Estimated Total Size (MB): 1532.91
# ----------------------------------------------------------------
# conv_parameters:  11,247,744 相比于AelxNet的cnn层参数  3,747,200   增加 3 倍
# fnn_parameters:  375,301,096 相比于AelxNet的fnn层参数 58,631,144   增加 6.4 倍
# 卷积参数占全模型参数的 2% ；全连接层占 98%