PaddlePaddle训练过程中损失值突然全部为0

• 关键字：损失值，梯度消失

• 问题描述：使用卷积神经网络在训练MNIST数据集时，在训练过程中损失值突然为0，并且识别准确率开始下降。

• 报错信息：

Pass:0, Batch:0, Cost:1.41644, Accuracy:0.16406
Pass:0, Batch:100, Cost:0.00000, Accuracy:0.07812
Pass:0, Batch:200, Cost:0.00000, Accuracy:0.07812
Pass:0, Batch:300, Cost:0.00000, Accuracy:0.11719

• 问题复现：在卷积神经网络最后的输出层的激活函数使用Sigmoid，然后作为图像分类的神经网络进行训练。在训练过程中就会出现损失值突然为0的情况。

def convolutional_neural_network(input):
    conv1 = fluid.layers.conv2d(input=input,
                                num_filters=32,
                                filter_size=3,
                                stride=1)

    pool1 = fluid.layers.pool2d(input=conv1,
                                pool_size=2,
                                pool_stride=1,
                                pool_type='max')

    conv2 = fluid.layers.conv2d(input=pool1,
                                num_filters=64,
                                filter_size=3,
                                stride=1)

    pool2 = fluid.layers.pool2d(input=conv2,
                                pool_size=2,
                                pool_stride=1,
                                pool_type='max')

    fc = fluid.layers.fc(input=pool2, size=10, act='sigmoid')
    return fc

• 问题解决：Sigmoid函数比较常用于二分类任务上，在手写数字识别任务上，MNIST手写数据集有10个类别。所以这里使用Sigmoid函数不适合，可以使用Softmax作为激活函数，可以使用的模型正常收敛。正确代码如下：

def convolutional_neural_network(input):
    conv1 = fluid.layers.conv2d(input=input,
                                num_filters=32,
                                filter_size=3,
                                stride=1)

    pool1 = fluid.layers.pool2d(input=conv1,
                                pool_size=2,
                                pool_stride=1,
                                pool_type='max')

    conv2 = fluid.layers.conv2d(input=pool1,
                                num_filters=64,
                                filter_size=3,
                                stride=1)

    pool2 = fluid.layers.pool2d(input=conv2,
                                pool_size=2,
                                pool_stride=1,
                                pool_type='max')

    fc = fluid.layers.fc(input=pool2, size=10, act='softmax')
    return fc

• 问题拓展：当全连接层的激活函数是sigmoid或者softmax时，那么这个全连接层相当于一个分类器，sigmoid激活函数多用于二分类任务，softmax多用于多分类任务。当全连接层的激活函数是relu、tanh，可以增强网络的非线性能力。