Keras：搭建全连接神经网络进行mnist手写数字识别

       本节基于Keras搭建全连接神经网络，实现对mnist手写数字的识别。通过设置不同的优化器、损失函数，观察模型训练效果。此外，为防止过拟合，在代码中向读者展示了正则化和dropout的使用方法。代码如下：

'''
通过全连接神经网络实现mnist手写数字分类
1 对比交叉熵损失与均方误差损失函数对训练结果的影响
2 对比不同优化算法对训练结果的影响
'''

from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.datasets import mnist
from keras.optimizers import SGD, Adam, Adagrad, RMSprop
from keras.regularizers import l2
from keras.utils import np_utils
import matplotlib.pyplot as plt

class Classification:
    def __init__(self):
        (self.x_train, self.y_train), (self.x_test, self.y_test) = mnist.load_data()
        dim = self.x_train.shape[1] * self.x_train.shape[2]
        self.x_train, self.x_test = self.x_train.reshape((self.x_train.shape[0], -1)) / 255, self.x_test.reshape((self.x_test.shape[0], -1)) / 255
        self.y_train, self.y_test = np_utils.to_categorical(self.y_train, num_classes = 10), np_utils.to_categorical(self.y_test, num_classes = 10)
        self.model = Sequential()
        self.model.add(Dense(100, activation = 'relu', input_dim = dim, kernel_regularizer = l2(0.0001)))
        self.model.add(Dropout(0.3))
        self.model.add(Dense(80, activation = 'relu'))
        self.model.add(Dense(30, activation = 'relu'))
        self.model.add((Dense(20, activation = 'tanh')))
        self.model.add(Dense(10, activation = 'softmax'))

    # 评估和画图函数
    def evaluate_and_plot(self, loss):
        loss_1, acc_1 = self.model.evaluate(self.x_train, self.y_train)
        loss_2, acc_2 = self.model.evaluate(self.x_test, self.y_test)
        print('train loss:', loss_1, '\ntrain accuracy:', acc_1)
        print('test loss:', loss_2, '\ntest accuracy:', acc_2)
        plt.plot(loss, 'r')
        plt.xlabel('episode')
        plt.ylabel('loss')
        plt.show()

    # 优化器和学习率设置函数
    def set_hyperparameter(self):
        print('请设置优化器(1:SGD, 2:Adam, 3:Adagrad, 4:RMSprop)和学习率lr, 空格分隔:')
        s = list(input().split(' '))
        opt, learning_rate = int(s[0]), float(s[1])
        if opt == 1:
            optim = SGD(lr = learning_rate)
        elif opt == 2:
            optim = Adam(lr = learning_rate)
        elif opt == 3:
            optim = Adagrad(lr = learning_rate)
        else:
            optim = RMSprop(lr = learning_rate)
        l = input('请设置损失函数, 交叉熵损失(C)和均方误差损失(M):')
        loss_f = 'categorical_crossentropy' if l == 'C' else 'mse'
        return optim, loss_f

    def train(self, epoch, batchsize):
        optim, loss_fun = self.set_hyperparameter()
        self.model.compile(optimizer = optim, loss = loss_fun, metrics = ['accuracy'])
        history = self.model.fit(self.x_train, self.y_train, batch_size = batchsize, epochs = epoch)
        loss = history.history['loss']
        return loss

if __name__ == '__main__':
    Classify = Classification()
    loss = Classify.train(10, 32)
    Classify.evaluate_and_plot(loss)

       使用SGD优化器，均方误差损失函数，学习率0.001。在训练过程中，loss变化如下。训练集识别精度0.21311，测试集识别精度0.21490。

       使用SGD优化器，交叉熵损失函数，学习率0.001。在训练过程中，loss变化如下。训练集识别精度0.89151，测试集识别精度0.89780。

       使用Adam优化器，均方误差损失函数，学习率0.001。训练过程中，loss变化如下。训练集识别精度0.96388，测试集识别精度0.96259。

       使用Adam优化器，交叉熵损失函数，学习率为0.001。训练过程中，loss变化如下。训练集识别精度0.98274，测试集识别精度0.97229。

       在损失函数初始值较大时，交叉熵损失函数可以获得更大的梯度，所以收敛速度要快于均方误差损失函数。此外，Adam优化器对梯度的一阶矩和二阶矩进行了综合考虑，训练效率也高SGD。在此时中，也发现有时训练集识别精度略高于测试集识别精度，即发生了轻微的过拟合。读者可自行尝试设置其他优化器，还可通过设置不同的batch_size、epoch等参数，对比训练结果。