理解Cross entropy

搬运自friendly-intro-to-cross-entropy-loss

概述

......

本文当中我们关注那些相互之间的分类互相排斥的情况。比如说，我们对一副图片当中是否有陆上景观，或者马或者其他的什么东西感兴趣，那么我们的模型就会把图片当做输出，然后输出三个数字，其中每个数字表征对应类别的概率。

在训练过程中，假设我们放了一个景观图，我们希望我们的概率输出能够接近于​ 。如果我们的模型预测了三个不同的分布，然后输出，比如说​，那么我们就想怎么继续训练网络的参数，使其尽量接近准确输出​ 。

但是“接近”要如何评判，我们怎么评判​ 和​之间的不同呢？