神经网络搭建笔记（二）之卷积神经网络

卷积

卷积的定义：是一种有效提取图像特征的方法。

一般会用一个正方形的卷积核，按指定步长，在输入特征图上滑动，遍历输入特征图中的每个像素点。每一个步长，卷积核会与输入特征图出现重合区域，重合区域对应元素相乘求和再加上偏置项得到输出特征的一个像素点。

1、输入特征图的深度（channel数），决定了当前层卷积核的深度

2、当前层卷积核的个数，决定了当前层输出特征图的深度   ——>  如果某层模型的特征提取能力不足，可以在这一层增加卷积核的个数

卷积神经网络

卷积神经网络：借助卷积核提取特征后，送入全连接网络

卷积神经网络的主要模块如下：

根据上面的主要模块，为记忆方便，我们可以把卷积神经网络的过程简称CBAPD，也就是特征提取器。用代码来描述的话如下：

model = tf.keras.models.Sequential([
    Conv2D(filters=6,kernel_size=(5,5),padding='same),  # C，即卷积层
    BatchNormalization(),  # B，即批标准化层
    Activation='relu',  # A，即激活层
    MaxPool2D(pool_size=(2,2),strides=2,padding='same'),  # P，即池化层
    Dropout(0.2), # D，即Dropout层

    # 以下是全连接层
    Flatten(),
    Dense(128,activation='relu'),
    Dropout(0.2),
    Dense(10,activation='softmax')
]) 

在具体的卷积神经网络实现过程中，会多次出现CBAPD的组合过程，也有可能多次出现CBA的组合过程，最后再加PD。没有固定的模式，具体看特征提取的需要。

下面我们用tensorflow自带的数据集Cifar10并运用六步法来模拟一遍

# 一、import相关模块
import pandas as pd
import numpy as np
import tensorflow as tf
import os
from matplotlib import pyplot as plt
from tensorflow.keras.layers import Conv2D,BatchNormalization,Activation,MaxPool2D,Dropout,Flatten,Dense
from tensorflow.keras import Model

np.set_printoptions(threshold=np.inf)

# 二、区分训练集和测试集
cifar10 = tf.keras.datasets.cifar10
(X_train,y_train),(X_test,y_test) = cifar10.load_data()
X_train,X_test = X_train/255.0,X_test/255.0

# 三、Sequential搭建神经网络框架，在这里我们用类来实现
Class BaseModel(Model):
    def __init__(self):
        super(BaseModel,self).__init__()
        self.c1 = Conv2D(filters=6,kernel_size=(5,5),padding='same')
        self.b1 = BatchNormalization()
        self.a1 = Activation('relu')
        self.p1 = MaxPool2D(pool_size=(2,2),strides=2,padding='same')
        self.d1 = Dropout(0.2)

        self.flatten = Flatten()
        self.f1 = Dense(128,activation='relu')
        self.d2 = Dropout(0.2)
        self.f2 = Dense(10,activation='softmax')

    def call(self,x):
        x = self.c1(x)
        x = self.b1(x)
        x = self.a1(x)
        x = self.p1(x)
        x = self.d1(x)
        x = self.flatten(x)
        x = self.f1(x)
        x = self.d2(x)
        y = self.f2(x)
        return y

model = BaseModel() # 实例化

# 四、compile配置训练方法
model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),metrics=['sparse_categorical_accuracy'])

checkpoint_save_path = "./checkpoint/BaseModel.ckpt" # 设置模型参数存储
if os.path.exists(checkpoint_save_path+".index"):
    print("--------load the model---------")
    model.load_weights(checkpoint_save_path)

cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,save_weights_only=True,save_best_only=True)

# 五、model.fit进行模型训练，设置好像训练集和测试集
history = model.fit(X_trian,y_train,batch_size=32,epochs=5,validation_data=(X_test,y_test),validation_freq=1,callbacks=[cp_callback])


# 六、model.summary
model.summary()


file = open('./weights.txt','w')
for v in model.trainable_variables:
    file.write(str(v.name)+'\n')
    file.write(str(v.shape)+'\n')
    file.write(str(v.numpy())+'\n')
file.close()


###  查看训练集和测试集的acc和loss曲线
acc = history.history['sparse_categorical_accuracy']
val_acc = history.history['val_sparse_categorical_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

plt.figure(figsize=(15,8))
plt.subplot(1,2,1)
plt.plot(acc,label="trainingset's acc")
plt.plot(val_acc,label="validation's acc")
plt.title("training and validation accuracy")
plt.legend()

plt.subplot(1,2,2)
plt.plot(loss,label="trainingset's loss")
plt.plot(val_loss,label="validation's loss")
plt.title("training and validation loss")
plt.legend()
plt.show()

本文参考：北京大学课程《人工智能实践：Tensorflow笔记》