【机器学习算法】神经网络与深度学习-7 DNN深度学习算法模型出现学习效果不好的情况，如何补救，对策如下，建议收藏

在softmax layer 的前提条件下，我们发现cross entropy的斜率要比 square error 误差值的斜率要大的多，如果求微分，系统可以马上知道我误差下降的方向是那边。如果我们看图中的蓝色点，如果是square，它的误差是平的，往左往右它是无法判断的。就会导致不调整权重值。或者只是微微调整，那如果没有达到最小的误差值，就会导致效果差了，cross entropy做梯度下降法的时候它的下降速度很快，而且能明确下降的方向

用折线图表示二者的差距就可以明显发现了

当斜率小的时候，squareError 是不清楚自己应该向那个发现调整的，于是cross entropy作为误差处理对象时，就会很快提升准确率。

方法2：Mini-Batch

Mini-batch是什么情况呢？

假设现在有2000个数据，mini-batch设为100 它就会设定为20个批次

如果我们不设置mini-batch的话，没进来一笔数据，我们就要调整一次权重数据，这样会导致跑的时间很久，100万个数据就要调整100万次。会导致最后的结果与你输入资料的顺序有关，先输入的资料先调整，后输入的模型后调整，导致模型的稳定性不高。

Mini-batch 就是先输入100笔数据，然后100笔数据一起调整。这样run的数据比较快，因为是100笔数据一起看，数据前后影响会降低。

比如现在100个数据进来，我们就可以吧这100个数据都求loss值，然后把这些loss值求和，然后一次性去调整我们的参数。然后再放进来100个数据，然后再进行调整我们的参数权重。我们就重复20次，然后再进行重复训练

你可能怀疑这个是不是有效果。用准确率的可视化图看，就可以发现，它的效果很好，模型相对稳定。当训练数据准确率不高的时候，也可以考虑用批次的问题。