训练时，Loss或者精度不变的bug

目前遇到了造成该现象的两种原因：

1、交叉熵和Softmax的错误使用

该问题我已经总结在另一篇文章了：paddle：使用CrossEntropyLoss作为loss，训练时loss不下降？，注意paddle和pytorch的api很像，所以见一知二，自己推广。

原因在于CrossEntropyLoss函数实际上内置了LogSoftmax 和 NLLLoss，也就是你一旦使用CrossEntropyLoss，在计算预测值和标签值时就会自动帮你将预测值给LogSoftmax 和 NLLLoss。

但当我们再在模型里最后一层加上Softmax，那就相当于输出值在模型里推理时，被Softmax一遍，当使用输出计算loss又被LogSoftmax 和 NLLLoss一遍，此时计算的loss就很小很小，导致没有梯度，故出现训练没用的效果。

实际上定义分类模型时，输出的时候不需要softmax，当eval时需要人为对输出进行softmax，当训练时因为使用交叉熵，故不用对输出进行softmax。

2、可能是开始的正常波动

如下图所示，在epoch=4之前，精度是不变的，且loss也不变，但是之后就正常训练了，所以要有耐心多训练会儿。

当然猜测是开始时梯度和lr都太小，想要立竿见影可以调大lr试试。