卷积神经网络

卷积

卷积是有效提取矩阵特征的一种方法，通过卷积核在矩阵上的移动，矩阵中被覆盖的部分与卷积核对应元素相乘求和再加上偏置项，就提取出了该部分的特征

• 单通道卷积核
  

• 多通道卷积核
  

感受野

通过卷积计算之后，输出特征图上每个像素点所对应在原始输入图片上映射区域的大小就是感受野。如下图，感受野为3：

卷积神经网络的主要模块

卷积是什么？卷积就是特征提取器，就是CBAPD

• C：Conv2D
  

• B：BN
  批标准化会对所有像素点进行减均值再除以标准差的操作，使数据符合0为均值，1为标准差的分布，从而使激活函数（比如sigmoid）的线性区域对数据的差异有更好的放大作用
  
  

• P：Pooling
  池化可以减少特征数据的数据量，有最大值池化和均值池化
  
  

• D ：Dropout
  神经网络训练时，将一部分隐藏层的神经元按比例临时舍弃，在神经网络使用时将他们恢复链接
  

卷积神经网络搭建实例

%matplotlib inline
import tensorflow as tf
cifar10 = tf.keras.datasets.cifar10
(x_train, y_train), (x_test, y_test) = cifar10.load_data()

import os
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.layers import Conv2D, BatchNormalization, Activation, MaxPool2D, Dropout, Flatten, Dense
from tensorflow.keras import Model
# np.set_printoptions(threshold=np.inf)

x_train, x_test = x_train / 255.0, x_test / 255.0 

class Baseline(Model):
    def __init__(self):
        super(Baseline, self).__init__()
        self.c1 = Conv2D(filters=6, kernel_size=(5, 5), padding='same')
        self.b1 = BatchNormalization()
        self.a1 = Activation('relu')
        self.p1 = MaxPool2D(pool_size=(2, 2), strides=2, padding='same')
        self.d1 = Dropout(0.2)
        self.flatten = Flatten()
        self.f1 = Dense(128, activation='relu')
        self.d2 = Dropout(0.2)
        self.f2 = Dense(10, activation='softmax')  ## 因为最终是十分类问题
    def call(self, x):
        x = self.c1(x)
        x = self.b1(x)
        x = self.a1(x)
        x = self.p1(x)
        x = self.d1(x)
        x = self.flatten(x)
        x = self.f1(x)
        x = self.d2(x)
        y = self.f2(x)
        return y
model = Baseline()

model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics=['sparse_categorical_accuracy'])
checkpoint_save_path = "D://卷积神经网络/checkpoint/Baseline.ckpt"
if os.path.exists(checkpoint_save_path + '.index'):
    print('----------load the model---------------')
    model.load_weigths(checkpoint_save_path)
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path, save_weights_only=True, save_best_only=True)
history = model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1, callbacks=[cp_callback])
model.summary()
file = open("D://卷积神经网络/weights.txt", 'w')
for v in model.trainable_variables:
    file.write(str(v.name) + '\n')
    file.write(str(v.shape) + '\n')
    file.write(str(v.numpy()) + '\n')
file.close()

acc = history.history['sparse_categorical_accuracy']
val_acc = history.history['val_sparse_categorical_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

plt.subplot(1, 2, 1) 
plt.plot(acc, label='Training Accuracy')
plt.plot(val_acc, label='Validation Accuracy')
plt.title('Training and Validation Accuracy')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(loss, label='Training Loss')
plt.plot(val_loss, label='Validation Loss')
plt.title('Training and Validation Loss')
plt.legend()
plt.show()

经典卷积神经网络

接下来，用六步法逐个实现这些经典卷积神经网络，这些均只替换class部分，其余部分代码与上面卷积神经网络代码完全一致。

• LeNet：1998年由Yann LeCun提出，卷积网络的开篇之作
  
  
• AlexNet：2012年ImageNet竞赛的冠军，TOP5错误率为16.4%
  
  
• VGGNet：2014年ImageNet竞赛的亚军，TOP5错误率减小到7.3%
  
• InceptionNet：2014年ImageNet竞赛冠军，TOP5错误率减小到6.67%
  
  
  
• ResNet：2015年ImageNet竞赛冠军，TOP5错误率减小到3.57%，引入层间残差跳连
  ResNet的作者何凯明在实验中发现，单纯叠加神经网络的层数，会使神经网络模型退化，以至于后面的特征丢失了前面特征的原本模样。于是他用一根跳连线，将前面的特征直接连到了后面的特征上。这一操作有效缓解了退化，使得神经网络可以向更深层级发展。下面是一个ResNet块：
  
  ResNet块有虚线和实线两种形式：
  
  
• 经典卷积神经网络小结