验证集精确度和损失同时上升

1. 实验结果

  下图中val_acc，val_loss分别表示验证集精确度和损失；train_acc，train_loss分别表示训练集精确度和损失。验证集精确度一直上升，但是损失在第六个epoch后也开始上升，如何解释？

2. 分析

  在N标签分类任务中，输出是一个N维的向量，向量中每个位置代表某类标签，其值代表属于此类标签的概率值。我们取概率最大值的索引所对应的标签作为最终预测标签，所以最大概率其相对值更重要，90%的概率和50%的概率是等价的，只要它是最大概率即可，但是90%所对应的损失要小于50%对应的损失。因此只要正确类别的预测概率最大，它就可以在val-loss增加时仍然保持比较平稳的状态。

  下面通过一个例子说明：

  假设现在有2个类别的数据集，类别分别是dog和horse，对于现在的一个样本，其真实类别是horse，也就是其真实值one-hot为[0, 1]，对于下面2种情况：
①其预测softmax值为[0.1, 0.9]，则对于这个例子的交叉熵值计算为：
− ( 0 ∗ l n 0.1 + 1 ∗ l