InceptionNet原理与实战

        InceptionNet诞生于2014年，当年ImageNet竞赛冠军，Top5错误率为6.67%。InceptionNet引入了Inception结构块，在同一个网络内使用不同尺寸的卷积核，提升了模型的感知力。使用了批标准化，缓解了梯度消失。

        InceptionNet的核心是它的基本单元Inception结构块，无论是GoogleNet也就是Inception v1还是InceptionNet的后续版本，比如V2，V3，V4都是基于Inception结构块搭建的网络，Inception结构块在同一层网络中，使用了多个尺寸的卷积核，可以提取不同尺寸的特征，通过1*1卷积核作用到输入特征图的每个像素点，通过设定少于输入特征图深度的1*1卷积核个数，减少了输出特征图深度，起到了降维的作用，减少了参数量核计算量。Inception结构块如下所示：

        Inception结构块包含四个分支，分别经过1*1卷积核输出到卷积连接器；经过 1*1卷积核配合3*3卷积核输出到卷积连接器；经过 1*1卷积核配合5*5卷积核输出到卷积连接器；经过 3*3最大池化核配合1*1卷积核输出到卷积连接器。送到卷积连接器的特征数据尺寸相同，卷积连接器会把收到的这四路特征数据按深度方向拼接，形成Inception结构块的输出。把Inception结构块用CBAPD描述出来如上图的右边所示。

        卷积连接器把这四个分支按照深度的方向堆叠在一起，就构成了Inception结构块的输出。由于Inception结构块中的卷积操作都是采用了CBA结构，所以将其定义成一个新的类ConvBNRelu类，可以减少代码的长度，增加可读性。

         Inception结构块的实现如下所示：

 整个InceptionNet结构如下：

         上图中设定的默认init_ch=16,即为默认输出的深度是16.

        每两个Inception结构块组成一个block，每个block中的第一个Inception结构块卷积步长是2，第二个Inception结构块的卷积步长为1，这就使得第一个Inception结构块输出的特征图尺寸减半。因此，我们把输出特征图深度加深，尽可能保证特征抽取中信息的承载量一致。block_0，设置的通道数是16，经过了四个分支，输出的深度是4*16=64.block_1通道数是block_0通道数的二倍，所以经过4个分支是4*32=128.这128通道的数据会被送入平均池化，送入10个分类的全连接。上图中实例化了InceptionNet的类，指定了Inceptionnet的block数为2。

实战演示：

import numpy as np
import tensorflow as tf
import os
from matplotlib import pyplot as plt
import PySide2
from tensorflow.keras.layers import Conv2D,BatchNormalization,Activation,MaxPooling2D,Dropout,Flatten,Dense,GlobalAveragePooling2D
from tensorflow.keras import Model


dirname = os.path.dirname(PySide2.__file__)
plugin_path = os.path.join(dirname, 'plugins', 'platforms')
os.environ['QT_QPA_PLATFORM_PLUGIN_PATH'] = plugin_path
np.set_printoptions(threshold=np.inf)  # 设置打印出所有参数，不要省略

mnist = tf.keras.datasets.fashion_mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

# 由于fashion数据集是三维的(60000, 28, 28)，而cifar10 数据集是四维的，而此网络是用来识别四维的数据所所以需要将3维的输入扩展维4维的输入
x_train = np.expand_dims(x_train, axis=3)
x_test = np.expand_dims(x_test, axis=3)

class ConBNRelu(Model):
    def __init__(self, ch, kernelsz=3, strides=1, padding='same'):
        super(ConBNRelu, self).__init__()
        self.model = tf.keras.models.Sequential([
            Conv2D(ch, kernelsz, strides=strides, padding=padding),
            BatchNormalization(),
            Activation('relu')
        ])

    def call(self, x):
        x = self.model(x)
        return x

class InceptionBlk(Model):
    def __init__(self, ch, strides=1):
        super(InceptionBlk, self).__init__()
        self.ch = ch
        self.strides = strides
        self.c1 = ConBNRelu(ch, kernelsz=1, strides=strides)
        self.c2_1 = ConBNRelu(ch, kernelsz=1, strides=strides)
        self.c2_2 = ConBNRelu(ch, kernelsz=3, strides=1)
        self.c3_1 = ConBNRelu(ch, kernelsz=1, strides=strides)
        self.c3_2 = ConBNRelu(ch, kernelsz=5, strides=1)
        self.c4_1 = MaxPooling2D(3, strides=1, padding='same')
        self.c4_2 = ConBNRelu(ch, kernelsz=1, strides=strides)

    def call(self, x):
        x1 = self.c1(x)
        x2_1 = self.c2_1(x)
        x2_2 = self.c2_2(x2_1)
        x3_1 = self.c3_1(x)
        x3_2 = self.c3_2(x3_1)
        x4_1 = self.c4_1(x)
        x4_2 = self.c4_2(x4_1)
        # 链接每个通道
        x = tf.concat([x1, x2_2, x3_2, x4_2], axis=3)
        return x

class Inception10(Model):
    def __init__(self, num_blocks, num_classes, init_ch=16, **kwargs):
        super(Inception10, self).__init__(**kwargs)
        self.in_channels = init_ch
        self.out_channels = init_ch
        self.num_blocks = num_blocks
        self.init_ch = init_ch
        self.c1 = ConBNRelu(init_ch)
        self.blocks = tf.keras.models.Sequential()
        for block_id in range(num_blocks):
            for layer_id in range(2):
                if layer_id == 0:
                    block = InceptionBlk(self.out_channels, strides=2)
                else:
                    block = InceptionBlk(self.out_channels, strides=1)
                self.blocks.add(block)
            # enlarger out_channnerls per block
            self.out_channels *= 2
        self.p1 = GlobalAveragePooling2D()
        self.f1 = Dense(num_classes, activation='softmax')

    def call(self, x):
        x = self.c1(x)
        x = self.blocks(x)
        x = self.p1(x)
        y = self.f1(x)
        return y

model = Inception10(num_blocks=2, num_classes=10)

model.compile(optimizer='adam',
              loss=tf.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])

checkpoint_save_path = './checkpoint/mnist.ckpt'
if os.path.exists(checkpoint_save_path + '.index'):
    print('------------------------load the model---------------------')
    model.load_weights(checkpoint_save_path)


cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
                                                 save_weights_only=True,
                                                 save_best_only=True)

history = model.fit(x_train, y_train, batch_size=128, epochs=5,
                    validation_data=(x_test, y_test),
                    validation_freq=1,
                    callbacks=[cp_callback])
model.summary()

print(model.trainable_variables)
file = open('./weights.txt', 'w')
for v in model.trainable_variables:
    file.write(str(v.name) + '\n')
    file.write(str(v.shape) + '\n')
    file.write(str(v.numpy()) + '\n')
file.close()

############################  show  #############################
# 显示训练集和验证集的acc和loss曲线
acc=history.history['sparse_categorical_accuracy']
val_acc = history.history['val_sparse_categorical_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

plt.subplot(1, 2, 1)
plt.plot(acc, label='Training Accuracy')
plt.plot(val_acc, label='Validation Accuracy')
plt.title('Training and Validation Accuracy')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(loss, label='Training Loss')
plt.plot(val_loss, label='Validation Loss')
plt.title('Training and Validation Loss')
plt.legend()
plt.show()