构建深度学习的一些建议

1、通用技巧

1.1  使用ADAM优化器

1.2  使用Relu激活函数

1.3  不能在输出层使用激活函数

1.4  为每一层添加偏置项

1.5  使用方差缩放初始化，tf.contrib.layers.variance_scaling_initializer()

1.6  白化

1.7  一般不使用学习率衰减

1.8  使用池化，可以学习到图像的平移、旋转、缩放不变性特征

2、神经网络的调试

如果网络学习效果很差（网络在训练中loss和准确率不收敛），首先要做的是去过拟合一个训练数据；如果模型不能过拟合训练数据，说明模型结构存在严重的问题。