准确率Accuracy与损失函数Loss的关系

背景

在进行一项分类任务训练时，观察到验证集上的accuracy增加的同时，loss也在增加，因此产生了一些疑惑，对accuracy和loss之间的关系进行探索。

定义

在理解他们的关系之前，先来回顾一下什么是交叉熵损失和准确率。交叉熵损失函数：交叉熵输出的是正确标签的似然对数，和准确率有一定的关系，但是取值范围更大。交叉熵损失公式：

其中 y ^ ( i ) \widehat{y}^{(i)}