记训练识别图片从70%提高到99.89%的过程

1. 一开始的参数是：network_size: [784, 100, 39]， epoch：60， eta：0.1， lambda：5，mini_batch_size：10

发现识别精度只有70%左右

2.看了这本书的How to choose a neural network's hyper-parameters?

一本写的很好的神经网络书

（1）学到了：一开始设置超级参数时，最好从最简单的开始设计。

    将参数改成：network_size: [784, 39]， epoch：20， eta：0.01， lambda：1，mini_batch_size：10

    结果识别精度提高到了98.5%

3.但是在输出cost的时候，发现cost总是inf，就是无穷大。一开始没注意，但是后来疑问越来越大了，精度都提高到98.5%了

    cost怎么可能是无穷大？于是，我进行了调试

    我发现：（1）我的cost function是cross-entropy，我发现我最后得到的activation（预测值）不是1就是0，这样一旦预测错，cost function中就会出现-1*log(0)，这样cost就会无限大了。

                  （2）而activation不是1就是0的原因是我的x非常大。我在把图片做成数据集的时候，白色点的值是255，而不是1，这样即使weights和biases非常小，产生的activation还是会非常大。

将参数改成：network_size: [784, 100，39]， epoch：20， eta：1， lambda：1，mini_batch_size：10

    结果识别精度提高到了99.89%