CIFAR-10数据集比MNIST训练难度高许多

CIFAR-10数据集比MNIST训练难度高许多

MNIST数据集几乎很好训练，随便设计一个两层的全连接网络都能达到将近90%的测试精度，加入卷积层后更是可以轻易达到>97%的精度，但是同样的模型用来训练CIFAR-10，训练相同的epoch之后得到的结果却只有10%，只有训练几十个epoch之后测试精度才能达到80%，其间的上升速度简直慢如蜗牛

cifar10数据像素值的取值范围在[0,255]，此时取learning_rate = 1e-3，loss可以比较有效地下降（输入之前减去训练集的图像均值）；但是对中心化的图像的像素值压缩到[0,1]时，要取learning_rate = 1e-1才行。
原因：以最简单的单全连接层为例，$y = Wx + b$，假设$W,b$已经训练到了最佳参数，当$x$ 发生伸缩时，假设相应的scale参数是$k$，那么此时的最优模型为 ky=