分类准确率和交叉熵损失的变化关系

1. 背景

最近做实验（分类问题）的过程中发现，随着训练集的平均交叉熵损失（Average Cross Entropy，ACE）降低，验证集ACE升高时，分类模型的准确率（Accuracy，ACC）也会出现升高的情况。
在栈溢出上也看到了同样类似的问题

2. 基本概念

2.1 准确率

准确率：在分类问题中，准确率的定义简单粗暴，就是看预测的类别是否和真实的类别一致。在分类任务中，对于一个N类任务，输出就是一个N维的向量，向量每一个位置就代表了一种类别，对应位置的值就代表预测的目标属于该类的概率，比如猫狗的分类，输出向量为[0.3, 0.7],就表示输入的图属于猫的概率为0.3，属于狗的为0.7。在输出预测结果时，我们是取概率最大的索引所对应的的标签作为最终预测的结果标签，比如在上个例子中，预测输出：输入的图像类别为狗。

2.2 交叉熵损失

可以看出交叉熵损失只关心对正确类别的预测概率。（在这里为简化讨论，我们假设一个样本里只要一个标签，即简单的0-1二分类问题。）

3. 两者之间的变化关系

知乎：北野寺僧人的回答

分类问题一般看validation
accuracy，但是accuracy本身是个不可导的方程，因而用交叉熵作为损失函数来优化。但最终我们关心的还是准确度。
交叉熵是（负的）模型输出正确标签的似然度对数。和准确度有一定关系，但交叉熵的取值范围很大。有可能损失上升准确度也上升，毕竟准确度只是看预测概率最高的那个标签。准确度和交叉熵会出现以下情况：

交叉熵损失是一个平滑的函数，而准确率是非平滑的，准确率只依赖于输出概率的argmax。

● 如果正确标签的概率降低，但这个标签依然是概率最高的，会出现损失增加但准确度不变的结果。
● 如果数据集的标签很不平均，比如90%是类别A，那么模型一味增加预测A的比例，可能会让准确度上升，但loss可能也会以更大幅度上升（cross entropy的幅度可以很大）
● 如果模型非常自信，大多数正确标签的概率都接近1，那如果出现一个错误，准确率可能只会降低很少，但交叉熵可能会非常高。

作者认为真正部署的场景更加关注验证集的准确率，所以最终以Accuracy 为标准，交叉熵损失只是为了优化模型参数而设置的一个连续可微的损失函数。
如果在训练中出现交叉熵和准确率同时升高或者降低的问题，可能有以下原因：

• 离群值（outliers）：假设您有 10 张完全相同的图像，其中 9 张属于 A 类，一张属于 B 类。在这种情况下，模型更加倾向于给样本分为A类。但是，异常的图像（我这里理解是标签错误样本）可能会破坏模型的稳定性并使准确性降低。从理论上讲，一个模型应该90%概率预测为 A 类，但它可能会持续许多 epoch才能稳定。
  • 解决办法：为了处理这样的例子，我建议你使用梯度裁剪（将梯度保持在一定范围内，避免剧烈的波动，反映到损失函数上就是降低损失函数的剧烈变化）。如果想检查这种现象是否发生 - 可以检查您的损失分布（训练集中单个示例的损失）并寻找异常值。
• 偏差（bias）：现在想象一下，你有10张一模一样的图片，但其中5张分配了A类，5张分配了B类。在这种情况下，一个模型将尝试在这两个类别上分配大约50%-50%的分布。现在–你的模型在这里最多可以达到50%的准确性–从两个有效的类别中选择一个。
  • 解决办法：增加模型容量，针对非常类似的训练样本，增加可以有助于区分的图像标签的表达方式；如果需要查看是否发生这类情况，检查某一个样本在不同Epoch中的loss分布，如果出现loss逐渐变大。同时注意不要出现过拟合的情况。

If you want to check if such phenomenon occurs - check the distribution of losses of individual examples. If a distribution would be skewed toward higher values - you are probably suffering from bias.

• 类别失衡（Class inbalance）：如果90%的样本都属于同一类别，在训练的早期阶段模型几乎会将所有的样本预测为这一类，这可能造成非常大的损失函数，并且使预测的分布更加不稳定
  • 解决方法：1.梯度裁剪。2.将模型训练更多的epoch，模型会在进一步的训练中学习到细微的差别。3. 尝试类别平衡的方法，尝试分配sample_weights 或者 class_weights。查看类别分布。
• 过强的正则化（Too strong regularization）：如果设置了过于严格的正则化约束，会使得在训练的过程中更加关注于减小权重正则化而不是去学习一些重要的特征。
  • 解决方法：添加一个 categorical_crossentropy 作为度量并观察它是否也在减少。如果不是 - 那么这意味着正则化过于严格 - 尝试分配较少的权重惩罚。
• 糟糕的模型设计：这种行为可能是由错误的模型设计引起的。有几种好的做法可以用来改进您的模型：
  • Batch Normalization
  • Gradient clipping 使您的模型训练更加稳定和高效。
  • Reduce bottleneck effect https://arxiv.org/abs/1512.00567
  • Add auxiliary classifiers

4. 引用

1. https://stackoverflow.com/questions/48025267/relationship-between-loss-and-accuracy
2. https://blog.csdn.net/xxy0118/article/details/80529676
3. https://blog.csdn.net/u014421797/article/details/104689384
4. https://www.zhihu.com/question/264892967