-
关键字:
损失值
,梯度消失
-
问题描述:使用卷积神经网络在训练MNIST数据集时,在训练过程中损失值突然为0,并且识别准确率开始下降。
-
报错信息:
Pass:0, Batch:0, Cost:1.41644, Accuracy:0.16406
Pass:0, Batch:100, Cost:0.00000, Accuracy:0.07812
Pass:0, Batch:200, Cost:0.00000, Accuracy:0.07812
Pass:0, Batch:300, Cost:0.00000, Accuracy:0.11719
- 问题复现:在卷积神经网络最后的输出层的激活函数使用Sigmoid,然后作为图像分类的神经网络进行训练。在训练过程中就会出现损失值突然为0的情况。
def convolutional_neural_network(input):
conv1 = fluid.layers.conv2d(input=input,
num_filters=32,
filter_size=3,
stride=1)
pool1 = fluid.layers.pool2d(input=conv1,
pool_size=2,
pool_stride=1,
pool_type='max')
conv2 = fluid.layers.conv2d(input=pool1,
num_filters=64,
filter_size=3,
stride=1)
pool2 = fluid.layers.pool2d(input=conv2,
pool_size=2,
pool_stride=1,
pool_type='max')
fc = fluid.layers.fc(input=pool2, size=10, act='sigmoid')
return fc
- 问题解决:Sigmoid函数比较常用于二分类任务上,在手写数字识别任务上,MNIST手写数据集有10个类别。所以这里使用Sigmoid函数不适合,可以使用Softmax作为激活函数,可以使用的模型正常收敛。正确代码如下:
def convolutional_neural_network(input):
conv1 = fluid.layers.conv2d(input=input,
num_filters=32,
filter_size=3,
stride=1)
pool1 = fluid.layers.pool2d(input=conv1,
pool_size=2,
pool_stride=1,
pool_type='max')
conv2 = fluid.layers.conv2d(input=pool1,
num_filters=64,
filter_size=3,
stride=1)
pool2 = fluid.layers.pool2d(input=conv2,
pool_size=2,
pool_stride=1,
pool_type='max')
fc = fluid.layers.fc(input=pool2, size=10, act='softmax')
return fc
- 问题拓展:当全连接层的激活函数是
sigmoid
或者softmax
时,那么这个全连接层相当于一个分类器,sigmoid
激活函数多用于二分类任务,softmax
多用于多分类任务。当全连接层的激活函数是relu
、tanh
,可以增强网络的非线性能力。