神经网络训练：不变的Loss与提升的Accuracy？

推荐阅读：一种简单的解释
今天学习CS231n课程第6讲，老师提出了一个问题：在训练开始时，低学习率情况下，为什么可能出现“损失几乎不变，准确率明显提高”这样的现象？（视频课程中对这里解释的不太清楚）
备注：交叉熵损失+softmax

当然，类似问题也可以是，“损失和正确率同时上升”这样奇怪的现象？
我通过查找网络相关内容以及和LY师兄交流，终于搞懂了其原因：损失函数和准确率计算方法的区别！

交叉熵损失：

我们可以看到，交叉熵损失与对某每一类别 i 的预测分数的log相关；而准确率却是个硬判决，及输出层哪一类的分数高就判为那一类，结果正确那么准确率就增加（无论得分高低）

这样，我们就发现了其中的端倪，假设我们有两类。在初始阶段，softmax的输出都趋于[0.5, 0.5]这样的结果，其上下波动会随机进行预测，从而使正确率为50%左右。

当稍微进行了一点学习时，可能对应样本的输出会分别趋向于输出**[0.51,0.49]与[0.49,0.51]，也就是分类不那么随机**了，而是趋于向正确的方向调整（虽然准确率不高）。

这样，此时准确率自然是上升的，而根据交叉熵损失的计算方法，由于输出向量并没有较大改变，所以Loss函数的结果并没有明显变化。这从而就导致了Acc up, Loss flat的神奇现象。
所以，其背后原理是十分简单的！